一、准备虚拟机
1.从网上将VMware下载下来
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/gallery/banners/content/hero-generic-1400x350.jpg
2.下载centos
https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/
二、配置网络，设置网卡
1.将下载好的centos安装好后，点击左上角上的编辑->找到虚拟网络编辑器并进行点击
1）内存一般选用2GB
2）处理器根据自身的PC机而定，不能超过16
3）CD/DVD选择安装的镜像
2.设置防火墙
systemctl status firewalld.service ### 查看防火墙状态
systemctl stop firewalld.service ### 关闭防火墙
systemctl disable firewalld.service ####开机关闭防火墙
systemctl status firewalldservice ####查看防火墙状态，能看到（dead）说明设置成功
3.设置网卡
1.查看IP地址
ip addr
2.设置网卡
vi /etc/sysconfig/network-scripts/ifcfg-ens33
将BOOTPROTO=dhcp和ONBOOT = no改成
BOOTPROTO=static
ONBOOT = yes
并在下边添加
IPADDR=192.168.30.104
NETMASK=255.255.255.0
GATEWAY=192.168.30.2
DNS1=119.29.29.29
DNS2=8.8.8.8
3.设置网卡成功后需重启网卡，并检查
systemctl restart network #重启网卡
ip addr ## 检查是否配置成功
4.设置主机
1.更改主机名
vi /etc/hostname
修改成你想改成的名称
对其添加
vi /etc/hosts ##回车后对其后边添加
192.168.30.104 hadoop104
保存。
主机名需要保存才能重启。
如果需要安装桌面的话能用命令
ping www.baidu.com ###检查是否连接网络，Ctrl+C退出
yum groupinstall -y "GNOME Desktop" # 安装桌面
如果yum命令不能使用，将ONBOOT = no改为yes即可
重启命令
reboot
三、安装jdk和Hadoop
1.删除系统自带的jdk
查询版本，
rpm -qa | grep java
将Java的四个文件删除即可
使用下面命令进行删除
rpm -e --nodeps java____
2.安装jdk
在网上下载jdk-Linux版本的jdk
将下载过的jdk上传到Linux系统上
进入/opt文件夹下，创建两个文件夹
cd /opt/ ###进入/opt文件夹目录下
mkdir source ####创建source文件夹，放置源文件
mkdir module #### 创建module文件夹，放置解压后的文件
#使用这个命令进行上传
rz
对上传的文件进行解压使用命令
tar -zxvf 文件名
3.安装Hadoop
和安装jdk同理，先用rz进行文件上传，再使用tar -zxvf 文件名。进行解压得到安装后的文件
4.移动
将jdk移动到module中
mv jdk1.8.0.131/ jdk1.8 #修改文件名为jdk1.8
mvv jdk1.8 ../module #将文件jdk1.8移动到module文件中
mv hadoop2.7.2 ../module ##将解压后的文件hadoop2.7.2移动到文件module中
四、配置文件
1.对安装后的hadoop和jdk进行文件配置
修改profile文件
vi /etc/profile
在其下面添加
export PATH
export JAVA_HOME=/opt/module/jdk1.8
export PATH=$JAVA_HOME/bin:$PATH export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
使用命令
source /etc/profile #使配置为文件立即生效
2.对安装后的hadoop进行检测
先进入hadoop2.7.2文件夹下
mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
cat output/*
以上执行的代码输出结果为
1 dfsadmin
到这里hadoop安装并启动成功
3.配置集群
1.配置五个文件
现需要进入hadoop2.7.2/etc/hadoop目录下
1）修改JAVA_HOME路径，在前面已经修改过了，不在过多阐述。
2）获取jdk的安装路径
echo $JAVA_HOME
结果为
/opt/module/jdk1.8
3）配置hadoop-env.sh文件
在The java implementation to use.下面改为：将#去掉并，
export JAVA_HOME=/opt/module/jdk1.8
4）配置core-site.xml文件
vi core-site.xml
在其下面添加
<!-- 指定HDFS中NameNode的地址 -->
<property><name>fs.defaultFS</name><value>hdfs://hadoop104:9000</value>
</property><!-- 指定hadoop运行时产生文件的存储目录 -->
<property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
5）配置hdfs-site.xml 文件
vi hdfs-site.xml
在其下面添加
<!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>1</value></property>
五、设置自身免密登录
登录自身节点
[root@master ~]# ssh root@192.168.30.104 #需要输入密码
[root@master ~]# cd .ssh #进入节点
[root@master ssh]# ssh-keygen -t rsa # 生成公匙和私匙
执行上面命令后，敲击三个回车，中间不输入任何内容，在.ssh目录下会生成两个文件id_rsa(私匙)，id_rsa.put(公匙)
将生成的公匙创建并拷贝到authorized_keys文件中，实现了免密登录。
cat id_rsa.pub >>authorized_keys
ssh hadoop104 #实现自身的登录
exit ##退出自身的登录
六、启动集群
格式化namenode(第一次启动时格式化，以后不能经常格式化)
格式化命令
[root@hadoop104 hadoop-2.7.2]# bin/hdfs namenode -format
出现图片上的内容时，说明格式化成功。
七、在集群上测试一个包，单词统计的功能
1.进入/hadoop2.7.2/目录下，创建word.txt文件
touch word.txt
vi word.txt #编写文件
输入
小明 小张 小李 小明
张三 王五 张三 小李
2.在hadoop2.7.2目录下创建一个input文件夹启动dfs
start-dfs.sh
jps
结果为
bin/hdfs dfs -mkdir /input
把word.txt上传到服务器中的input文件夹中
bin/hdfs dfs -mkdir /input
查看是否上传成功
bin/hdfs dfs -ls /input
出现图片中内容说明上传成功
执行单词统计功能
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output
在服务器就创建了一个output文件夹，查看文件bin/hdfs dfs -ls /output
输出output文件的内容
bin/hdfs dfs -cat /output/*
删除文件系统上的output文件夹
bin/hdfs dfs -rm -r /output
删除ouput文件夹的件part-r-00000文件：
bin/hdfs dfs -rm /output/ part-r-00000
若不能删除part-r-00000文件，可以在output文件夹里面找到part-r-00000，再执行删除命令。
八、在YANG上运行MapReduce程序
1.配置yarn-env.sh文件。
温馨提示：这些步骤需要进入hadoop2.7.2/etc/hadoop/目录下。
vi yarn-env.sh
将some Java parameters下面的内容改为
2.配置yarn-site.xml文件
在添加内容添加：
<!-- reducer获取数据的方式 -->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property><!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop104</value>
</property>
3.配置mapred- site.sh文件
hadoop目录下没有这个文件需要修改一下
cp mapred-site.xml.template mapred-site.xml ### 拷贝并命名
vi mapred-site.xml
在添加内容添加：
<property><name>mapreduce.framework.name</name><value>yarn</value></property>4.配置mapred-env.sh
vi mapred-env.sh
配置为：
export JAVA_HOME=/opt/module/jdk1.8
九、启动集群
在hadoop2.7.2目录下启动
sbin/start-yarn.sh
jps
成功启动。
到这里hadoop的伪分布式搭建已基本完成，谢谢您的观看！
