Hadoop集群测试

一，通过UI界面查看Hadoop运行状态

Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。

1，hadoop2和hadoop3端口区别表

2，查看HDFS集群状态

在浏览器里访问http://master:9870 会发现进入不了

打开本机路径: C:\Windows\System32\drivers\etc 这个目录下的hosts 文件

进入hosts文件进行修改 一定要记住这里是浮动IP，不然进去那个网站，上面的注释不要删了
增加hadoop集群主机名与IP地址的映射

浏览器输入网址：master:9870 这下就能进去了 从图中可以看出HDFS集群状态显示正常。

单击Datanodes，查看数据节点信息

点开 Utilities 下拉菜单，选择 Browse the file system 可以看到有一些之前添加的东西

在HDFS上创建一个目录BigData2，执行命令：hdfs dfs -mkdir /BigData2

在Hadoop WebUI界面查看刚才创建的目录 可以看到新加了一个刚刚创建的BigData2目录

3，查看yarn状态

访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常。

单击 About

二，Hadoop集群体验

1，启动Hadoop集群

在master虚拟机上执行命令：start-all.sh

2，在虚拟机上准备文件

在master虚拟机上创建cipin.txt 文件 ，用来装词频统计所需要的词

3，文件上传到HDFS指定目录

输入命令: hdfs dfs -put cipin.txt /BigData2 上传 cipin.txt 文件到 HDFS 的 /BigData2 目录

在 Hadoop WebUI查看文件是否上传成功 可以看到 /BigData2 目录下已经有这个文件了

4，运行词频统计程序的jar包

输入命令: cd $HADOOP_HOME/share/hadoop/mapreduce 查看Hadoop自带示例的jar包

执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData2/cipin.txt /tongji 最后这个 /tongji 要空一格，用来存放统计好的结果

查看输出目录/tongji，执行命令：hdfs dfs -ls /tongji 会看到下面有两个文件

查看词频统计结果，执行命令：hdfs dfs -cat /tongji/* 后面那个*代表所有
可以看到我之前存在cipin.txt 文件里每个词出现的次数

5，在HDFS集群UI界面查看结果文件

在HDFS集群UI界面生成了一个tongji目录，查看/tongji 目录

下面有两个目录，查看下面那个 统计结果的目录

单击之后，会出现一个提示框，然后点击Download

单击 Download，下载结果文件到本地

用写字本打开结果文件

6，在YARN集群UI界面查看程序运行状态

访问http://master:8088，看到FINISHED和SUCCEEDED

单击应用标识application_1664509926859_0005，查看应用的运行详情