Hadoop安装与配置

article/2025/10/17 14:21:31

 第一步:装虚拟机

我把hadoop安装需要的文件放在下面大家自行去取:

百度网盘 请输入提取码

提取码:8888

由于centos镜像文件太大传不上去需要的话可以加我qq:364960241 

目录

 第一步:装虚拟机

第二步:配置静态网络,关闭防火墙

第三步:配置主机名,配置hosts文件 

第四步:使用SSH传输文件

第五步:配置SSH免密登录

第六步:配置时间同步

第七步:解压jdk包和hadoop包并安装jdk

第八步:配置jdk和hadoop

第九步:配置hadoop的系统环境变量

第十步:hadoop格式化和启动hadoop


 

 1.新建虚拟机

 2.典型,下一步,选择你的iso镜像文件,给你的虚拟机命名,选择安装文件位置 

 3.选择一下磁盘大小,最后点完成。

安装完成之后和跟下面的步骤来

 

当然你也可以选择中文,需要选择中文就在下面搜索栏中搜ch选择简体中文即可。

选择自动分区

 

root密码设置123456,尽量设置简单的,为了方便后面的步骤。

user用户可以创建也可以不创建,如果是gui图形界面就必须要创建了。

 

最后点击重启

上面的步骤在slave0和slave1中同样在创建一下。

第二步:配置静态网络,关闭防火墙

重启完毕之后,就会进入一个linux操作命令行

在其中输入root 回车,密码回车 ,登录成功之后 输入命令 ping www.baidu.com

查看网络是否能ping通,Ctrl+C停止。

输入命令 vi/etc/sysconfig/network-scripts/ifcfg-ens33

会进入一个新的命令行

按i 进入编辑模式,主要改2个。

1. BOOTPROTO=“dhcp”改为 BOOTPROTO="static"

2.ONBOOT="no"改为ONBOOT="yes",如果已经是yes就不要动它。

随后在最后一行添加以下几行东西

IPADDR="192.168.56.110"

NETMASK="255.255.255.0"

GATEWAY="192.168.56.10"

DNS1="180.76.76.76"

这是master中的,在slave0和slave1中同样也是进行一样的操作,需要注意的是ip地址的最后要和主机不一样,比如master的ip地址最后是110,slave0就是111,slave就是112,完成之后先按esc,退出编辑模式,在按住shift+:,输入wq 保存并退出。

保存退出之后我们需要重启一下服务,输入 service network restart,然后在ping一下,能ping通,配置网络这一步就算没有问题了。

2.接下来就是关闭防火墙了,输入 systemctl stop firewalld 紧接着在输入 systemctl disable firewalld 就关闭了。

如果不放心可以输入 systemctl status firewalld 查看一下

看到active后面是dead表示关闭成功。这样我们的第二步就算完成了。

第三步:配置主机名,配置hosts文件 

由于我们还在刚刚配置防火墙那个路径下,就先输入cd 进入刚开始的界面

然后在master输入命令 hostnamectl set-hostname master

在slave0中输入命令hostnamectl set-hostname slave0

在slave1中输入命令hostnamectl set-hostname slave1

最后都输入reboot重启,可以发现登录名已经更改过来了

下面开始配置hosts文件

先进入 vi /etc/hosts 

输入如图命令

输入wq保存退出  可以输入ping slave0 或者slave1 ping通一下,如果能够ping通,代表第三步也配置完成了。

第四步:使用SSH传输文件

这一步我们将安装二个软件叫Xshell还有一个xftp 。

安装完毕打开这个软件

 然后根据提示一步一步向下填。

填好之后在root目录下传输两个文件,如图: 

传好之后输入命令:ls 查看:

第五步:配置SSH免密登录

首先先生成密钥:ssh-keygen -b 1024 -t rsa 一路回车。

接下来在master、slave0、slave1分别运行3条代码,共9条代码
ssh-copy-id master
ssh-copy-id slave0
ssh-copy-id slave1

然后在master、slave0、slave1分别运行1条代码,共3条代码
chmod 600 authorized_keys

测试各机子之间能不能免密登录 输入命令ssh slave0 如果出现如下图则表示免密登录配置成功:

要想退出就输入命令exit 

到了这一步呢,我们的免密登录就配置成功了。

第六步:配置时间同步

输入命令 crontab -e 进入一个新的页面在里面输入如下命令然后保存退出:

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

时间同步配置完毕。

输入clock可以查看

第七步:解压jdk包和hadoop包

解压的命令:tar-xzvf hadoop-2.7.5.tar.gz  ,tar-xzvf jdk-8u162-linux-x64.tar.gz

解压完成过后可以输入查看命令:ls 来查看。

第八步:配置jdk和hadoop

配置之前先装一个vim的编辑器吧:yum install vim -y

安装好过后我们就先来配置jdk:

 进入.bash_profile文件下添加以下内容:

 保存并退出,在使用命令 source .bash_profile 使其生效,输入命令:java -version

出现java的版本则安装成功

scp -r jdk1.8.0_171 root@slave0:~/

scp -r jdk1.8.0_171 root@slave1:~/

在master上输入以上两个命令:复制到slave0和slave1上

接下去就是配置hadoop:

同样也是先进入要配置文件的地方 cd hadoop2.7.5/etc/hadoop

输入ls可以看到许多配置文件:

我把要配置的几个打出来 

1:core-site.xml

2.hadoop-env.sh

3.hdfs-site.xml

4.yarn.site.xml

5.yarn-env.sh

6.mapred-site.xml.template( 这个文件配置过后我们要将它改名为mapred-site.xml)

7.最后还要配置一个slaves 文件

配置步骤很简单就是有点繁琐。下面我将文件中的配置内容放在下面,各位自行复制

1.core-site.xml

<property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/root/hadoopdata</value>
</property>

2.hadoop-env.sh

export JAVA_HOME=/root/jdk1.8.0_162

3.hdfs-site.xml

<property>
                <name>dfs.replication</name>
                <value>2</value>
</property>

4.yarn.site.xml

<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
 </property>

5.yarn-env.sh

JAVA_HOME=/root/jdk1.8.0_162

6.mapred-site.xml.template

<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
</property>

注意的是:改完过后需要输入这个命令:mv mapred-site.xml.template mapred-site.xml
将文件改名

7.slaves

slave0
slave1

配置完后 同样要把他们复制到slave0和slave1上

scp -r hadoop2.7.5 root@slave0:~/

scp -r hadoop2.7.5 root@slave1:~/

第九步:配置hadoop的系统环境变量

将hadoop的环境变量追加到jdk后面:

source.bash_profile 

生效完毕过后  需要在master slave0 salve1 上各创建一个新目录:

mkdir /root/hadoopdata

注意是三台机器都要创建。

第十步:hadoop格式化和启动hadoop

格式化的命令:hdfs namenode -format 这个命令只需在master上输入。

格式化完毕过后我们启动hadoop ,启动hadoop的命令为:

start-all.sh

关闭的命令为: stop-all.sh

启动成功输入jps出现下面东西则表示成功:

 我们的hadoop到这里安装就算成功了,如果你看到这里或是安装成功给个赞鼓励一下吧 ,谢谢!!!


http://chatgpt.dhexx.cn/article/eVZTuHim.shtml

相关文章

基于CentOS虚拟机的Hadoop安装教程(自用备忘)

该博文是用于记录Hadoop的安装过程&#xff0c;且记录其中出现的一些问题&#xff0c;防止日后遗忘 实验环境&#xff1a; 虚拟机&#xff1a;CentOS7Hadoop&#xff1a;3.3.2java&#xff1a;java 8u331下载连接&#xff1a; CentOS&#xff1a;centos-7-x86_64-dvd-2009.iso…

Hadoop安装与配置详细教程

【确保服务器集群安装和配置已经完成&#xff01;】 前言 请根据读者的自身情况&#xff0c;进行相应随机应变。 我的三台CentOS7服务器&#xff1a; 主机&#xff1a;master&#xff08;192.168.56.110&#xff09; 从机&#xff1a;slave0&#xff08;192.168.56.111&…

Hadoop安装教程 Linux版

Hadoop安装教程 Linux版 一、Linux虚拟机安装 方法一&#xff1a;使用Windows下Linux子系统&#xff08;大佬可选&#xff09; 方法二&#xff1a;使用VMware安装Linux虚拟机&#xff08;小白可选&#xff09; 方法三&#xff1a;安装双系统&#xff08;不怕麻烦的可以试试&am…

Ubuntu下的Hadoop安装

二、Hadoop安装 采用版本为hadoop-2.7.7 ①JDK的安装 2.1.1 创建文件夹 sudo mkdir /expt sudo chmod 777 /expt 这个出错我参考别的原因也改过来了&#xff0c; pkexec chmod 0440 /etc/sudoers 2.1.2 移动文件 之前已经解压过了&#xff0c;所以改一下位置就行了 2.1.3 创…

hadoop 安装与测试

1、下载安装包 登录官网hadoop.apache.org 下载安装包 版本可以根据自己的需求进行选择 本文需要下载的安装包是&#xff1a;Hadoop-3.1.3.tar.gz / jdk-14_linux-x64_bin.tar.gz 将Windows上的安装包上传到Linux上&#xff0c;方式有很多。本文是将安装包通过共享文件夹形式…

Hadoop安装目录

/root/software/hadoop-2.6.0-cdh5.15.1/etc/hadoop第一步骤 vi core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop000:8020</value> </property> <property> <name>hadoop.t…

hadoop安装常见问题

目录 SSH服务器拒绝了密码。请再试一次​ ubuntu修改登陆用户名 这样ftp成功链接ubuntu 现在的ubuntu支持直接拖拽文件传输&#xff0c;不用ftp的 yarn是什么 linux配置java环境变量 hadoop安装包下载 linux不能编辑sshd_cofig SSH的简单理解和运用 SSH服务器拒绝了密…

hadoop安装流程

这篇文章主要记录安装hadoop的过程&#xff0c;给后来者一点帮助&#xff0c; 官网获取安装包 选一款你想要的 Apache Hadoop 下载完成后上传到服务器&#xff08;我用的是finalshell&#xff09; 先别急着解压 准备Java包 像上面一样官网下载对应的Java包 这边我已经准…

hadoop安装

hadoop安装 安装模板虚拟机 1) 设置虚拟机IP地址 2) 设置windows虚拟地址 3) 修改OS的IP地址 [roothadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTOstatic IPADDR # 自己的ip GATEWAY # 自己的网关地址 DNS1 # 自己的dns地址# 一定不要有空格!不要有…

Hadoop 安装与配置

创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户&#xff0c;并使用/bin/bash 作为shell 虚拟机打开成功后&#xff0c;打开终端Terminal&#xff0c;开始创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 为hadoop设置一个密码 sudo passwd hadoop 为后续操作方…

Hadoop 安装部署

官网下载软件&#xff1a; Ubuntu : https://releases.ubuntu.com/ jdk &#xff1a; https://www.oracle.com/java/technologies/downloads/ Hadoop &#xff1a; https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器&#xff0c;解压 一 1. …

Hadoop的安装与配置(非常重要)

官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNodesecondaryNameNodeDataNode 这是以主从模式来运行的&#xff0c;前两个在maser节点上&#xff0c;最后一个在slave节点上 1. 解压hadoop安装包 要学会从官方网站里找到历史镜像和release的发布版本来下载 我觉得从别人给的…

hadoop安装教程(一次填完所有的坑)

文章目录 01 引言02 hadoop 安装2.1 下载与安装2.2 hadoop配置2.3 免登陆配置2.4 配置环境变量2.5 配置域名2.6 启动 03 相关命令 3.1 yarn相关命令 3.2 hdfs相关命令 04 一次填完所有的坑05 Yarn相关配置06 文末 01 引言 最近安装hadoop-2.7.7 版本的时候遇到了很多坑&#x…

Hadoop安装部署全分布式搭建

目录 1. 完全分布式模式介绍 2. 平台软件说明 3. 守护进程布局 4. 完全分布式搭建环境准备 4.1. 总纲 4.2. 关闭防⽕墙 4.3. 静态IP和主机名配置 4.4. 配置/etc/hosts⽂件 4.5. 免密登陆认证 4.6. 时间同步 4.6.1. 同步⽹络的时间 4.6.2. ⾃定义时间服务器 4.7. 安装Jdk和Ha…

安装Hadoop集群(超详细!)

提示&#xff1a;安装前请准备好三台装有jdk的虚拟机 我这里名为hd01、hd02、hd03 hd01最好有hadoop和zookeeper的压缩包 文章目录 前言一、准备环境二、安装Hadoop总结 前言&#xff1a; 前面我写了一篇单机版的Hadoop安装&#xff0c;这里终于要装集群版&#xff0c;装集群版…

hadoop的安装过程

Hadoop安装过程 Hadoop基础环境配置 1.1 使用户获得管理员权限 1.2网络环境配置 1.3免密登录 1.4JDK安装Hadoop安装Hadoop配置 3.1在$HADOOP_HOME/etc/hadoop/目录下需要配置以下文件 3.2格式化并启动hadoop 1.HADOOP基础环境配置 1.1 使用户获得管理员权限 1&#xff09;切…

hadoop保姆级安装教程

hadoop保姆级安装教程 文章目录 一、准备步骤&#xff1a;虚拟机安装二、配置网络三、免密登录四、安装hadoop 实现分布式集群安装&#xff0c;不再从入门到放弃&#xff01;&#xff01; 这是一篇超详细的Hadoop安装教程&#xff0c;历时两个星期&#xff0c;重装了三次&…

Hadoop安装及使用

1.简介&#xff1a; &#xff08;1&#xff09;Hadoop项目为可靠、可扩展的分布式计算开发开源软件。 &#xff08;2&#xff09;Hadoop 软件库是一个框架&#xff0c;它允许使用简单的编程模型跨计算机集群分布式处理大型数据 集。它旨在从单个服务器扩展到数千台机器&#xf…

史上最详细的hadoop安装教程(含坑点)

0.前言 最近因为需要所以要安装hadoop&#xff0c;但是网上怎么说呢&#xff0c;就是很混乱&#xff0c;各种资料&#xff0c;各种安装方法&#xff0c;总体来说都不是很有效果&#xff0c;经过了3天的挣扎&#xff0c;收集资料&#xff0c;才完成了部署。 1.从官网上获得对应…

史上最详细的hadoop安装教程

一、引言 首先说明一下&#xff0c;本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样&#xff0c;那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。 本机的配置环境如下&#xff1a; Hadoop(3.1.1) Ubu…