hadoop安装(超详细)

article/2025/10/18 11:58:17

本文用到的软件
在这里插入图片描述

设置固定IP

(1)

(2)修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33

#修改:

ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
\#添加以下内容
IPADDR=192.168.128.130(根据自身情况)
NETMASK=255.255.255.0
GATEWAY=192.168.128.2
DNS1=192.168.128.2

重启服务,输入“service network restart

(3)再次重启服务并查看IP。在这里插入图片描述

克隆节点

把克隆好的节点重新设置IP(修改地方如图)
在这里插入图片描述

修改主机名

最好是在xshell中进行

使用hostnamectl set-hostname +修改后的主机名, 命令修改主机名

或者( vi /etc/hostname
在这里插入图片描述

修改好后重启虚拟机(reboot

重新连接后
在这里插入图片描述

配置IP映射

在这里插入图片描述

在这里插入图片描述

每个节点都要添加后
能够相互ping通

在这里插入图片描述

安装免密

应该是在主节点安装就可以了

 ssh-keygen -t rsa

在这里插入图片描述

生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。ssh-keygen用来生成RSA类型的密钥以及管理该密钥,参数“-t”用于指定要创建的SSH密钥的类型为RSA。

(2)用ssh-copy-id将公钥复制到远程机器中

ssh-copy-id -i /root/.ssh/id_rsa.pub server001`//依次输入yes,123456(root用户的密码)
ssh-copy-id -i /root/.ssh/id_rsa.pub server002
ssh-copy-id -i /root/.ssh/id_rsa.pub server003

在这里插入图片描述

验证是否设置无密码登录

在这里插入图片描述

配置时间同步服务

(1)安装NTP服务。在各节点:

yum -y install ntp

(2)设置假设master节点为NTP服务主节点,那么其配置如下。

使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件,注释掉以server开头的行,并添加:

restrict 192.168.128.2 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

在这里插入图片描述


(3)在slave中配置NTP,同样修改/etc/ntp.conf文件,注释掉server开头的行,并添加:

server master

在这里插入图片描述

(4)执行命令“sudo systemctl stop firewalld.service”永久性关闭防火墙,主节点和从节点都要关闭。

(5)启动NTP服务

① 在master节点执行命令“service ntpd start & chkconfig ntpd on

在这里插入图片描述

② 在slave上执行命令“ntpdate master”即可同步时间

在这里插入图片描述

③ 在slave上分别执行“service ntpd start & chkconfig ntpd on”即可启动并永久启动NTP服务。

在这里插入图片描述

安装jdk(以master为例,主节点和从节点都要配置)

每一个结点都要安装

(1) 上传JDK安装包到虚拟机/opt目录
在这里插入图片描述

在这里插入图片描述

(2) 进入/opt目录,执行命令“rpm -ivh jdk-8u151-linux-x64.rpm”安装JDK

在这里插入图片描述

(3) 在/etc/profile添加

export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

执行source /etc/profile 使配置生效

(4) 验证JDK是否配置成功,执行命令“java -version”
在这里插入图片描述

Hadoop集群配置()

  1. 后面的配置文件都是复制粘贴就好
  2. 通过xmanager的Xftp上传hadoop-2.6.5.tar.gz文件到/opt目录
  3. 解压缩hadoop-2.6.5.tar.gz 文件
  tar -zxf hadoop-2.6.5.tar.gz -C /usr/local

解压后即可,看到/usr/local/hadoop-2.6.5文件夹

  1. 配置Hadoop

进入目录:

cd /usr/local/hadoop-2.6.5/etc/hadoop/

依次修改下面的文件:
4.1 core-site.xml

<configuration><property><name>fs.defaultFS</name>  <value>hdfs://master:8020</value>  </property>  <property><name>hadoop.tmp.dir</name><value>/var/log/hadoop/tmp</value></property>
</configuration

4.2 hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_151

4.3 hdfs-site.xml

<configuration>
<property><name>dfs.namenode.name.dir</name><value>file:///data/hadoop/hdfs/name</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>file:///data/hadoop/hdfs/data</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value>
</property>
<property><name>dfs.replication</name><value>3</value>
</property>
</configuration>

4.4复制cp mapred-site.xml.template mapred-site.xml

mapred-site.xml
<configuration>
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
<!-- jobhistory properties -->
<property><name>mapreduce.jobhistory.address</name><value>master:10020</value>
</property>
<property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value>
</property>
</configuration>

4.5 yarn-site.xml

<configuration><property><name>yarn.resourcemanager.hostname</name><value>master</value></property>    <property><name>yarn.resourcemanager.address</name><value>${yarn.resourcemanager.hostname}:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>${yarn.resourcemanager.hostname}:8030</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>${yarn.resourcemanager.hostname}:8088</value></property><property><name>yarn.resourcemanager.webapp.https.address</name><value>${yarn.resourcemanager.hostname}:8090</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>${yarn.resourcemanager.hostname}:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>${yarn.resourcemanager.hostname}:8033</value></property><property><name>yarn.nodemanager.local-dirs</name><value>/data/hadoop/yarn/local</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/data/tmp/logs</value></property>
<property> <name>yarn.log.server.url</name> <value>http://master:19888/jobhistory/logs/</value><description>URL for job history server</description>
</property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
<property>  <name>yarn.nodemanager.resource.memory-mb</name>  <value>2048</value>  </property>  <property>  <name>yarn.scheduler.minimum-allocation-mb</name>  <value>512</value>  </property>   <property>  <name>yarn.scheduler.maximum-allocation-mb</name>  <value>4096</value>  </property> <property> <name>mapreduce.map.memory.mb</name> <value>2048</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property>
</configuration>

4.6 yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_151

4.7 slaves
删除localhost,(有几个添加几个)添加:
slave1
slave2
slave3

拷贝hadoop安装文件到集群slave节点

scp -r /usr/local/hadoop-2.6.5 slave1:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave2:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave3:/usr/local

5.在/etc/profile添加Hadoop路径

export HADOOP_HOME=/usr/local/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile使修改生效

  1. 格式化NameNode
    进入目录
cd /usr/local/hadoop-2.6.5/bin

执行格式化

 ./hdfs namenode -format

7.启动集群
进入目录

cd /usr/local/hadoop-2.6.5/sbin

执行启动:

./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver

使用jps,查看进程
[root@master sbin]# jps
1765 NameNode
1929 SecondaryNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager

[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager

在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com

  1. 浏览器查看:

http://master:50070
yNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager

[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager

在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射

192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
  1. 浏览器查看:
http://master:50070
http://master:8088

总结:这就是一篇笔记,根据以前学校老师给出的文件自己搭建的集群。后面很多配置文件我也看不懂。


http://chatgpt.dhexx.cn/article/n1BBwOhJ.shtml

相关文章

Charles安卓8手机抓包

目的 通过PC端的Charles&#xff0c;对安卓系统8的手机APP进行抓包。 先说明&#xff0c;只能对Android10以下进行抓包&#xff0c;高版本的不行。 步骤 1、PC端安装Charles并破解 可以去Charles官网下载应用&#xff0c;下载好之后直接安装到本地。 下载链接&#xff1a;h…

fiddler安卓模拟器与ios手机抓包

一.安卓模拟器(雷电模拟器)抓包 1.1fiddler基本配置 1.2导出Fiddler证书 Tools -> Options -> HTTPS -> Actions -> Export Root Certificate to Desktop 在桌面上看到导出的FiddlerRoot.cer证书文件 1.3下载和安装openssl openssl下载地址 git终端输入 open…

charles抓包工具使用及手机抓包教程

目录 1.前言 2.操作环境条件 3.操作步骤 3.1.电脑配置 3.2.手机配置 4.抓包实战 5.网络代理 6.参考文章 1.前言 不知道怎么抓包手机&#xff08;移动端&#xff09; 如何抓取手机HTTPS的包 2.操作环境条件 电脑系统&#xff1a;Mac OS 手机系统&#xff1a;Android …

使用fiddler对android手机抓包

前言 以往在PC或Linux服务后台定位问题的时候&#xff0c;wireshark等抓包工具是必不可少要具备的&#xff0c;最近搞android播放器开发&#xff0c;为了定位问题方便&#xff0c;也装了fiddler等抓包工具。 以下是在win上使用fiddler抓包工具的详细教程。 一、下载fiddler抓包…

Charles4.6.2版本手机抓包设置,抓包失败的解决方法详解

一、Charles手机抓包设置 第一步&#xff1a;设置Charles为允许状态&#xff0c;并设置好接入的接口 在Charles的菜单栏选择“Proxy”->“Proxy Settings”&#xff0c;填入代理端口8888&#xff08;⚠️这个端口不一定填写8888&#xff0c;也可以写别的端口&#xff09;&…

wireshark手机抓包分析(一)

一、先给你的电脑开个共享WiFi win10怎么设置wifi热点 这里注意一定要选择2.4hz&#xff0c;否则根本搜不到电脑开的wifi。 然后就连wifi就行了。 这里需要注意的点就是&#xff0c;你的wifi开启了可能连不上&#xff0c;可以试试&#xff1a; 网络共享中心---->以太网—&…

charles手机抓包配置

Charles手机抓包 静静地就好关注 2020.07.26 22:12:27字数 393阅读 873 一、Charles设置 1、让电脑和手机处于同一个局域网下&#xff0c;即电脑和手机连接同一个WiFi【电脑开WiFi给手机连接也可以】&#xff1b; 2、打开Charles&#xff0c;点击菜单栏中Proxy –> Prox…

postman手机抓包(http协议)——比fiddler简单直观

针对http协议的浏览器网页抓包。见 之前写过一篇用fiddler抓包。今天来说一个更好的&#xff0c;postman抓包。 以下是针对http协议的手机抓包&#xff0c;https开头的用如下方式是不能的&#xff0c;http是超文本传输协议&#xff0c;信息是明文传输&#xff0c;https则是具…

使用whistle进行手机抓包并调试

whistle是一个基于Node实现的跨平台web调试代理工具&#xff0c;类似Windows上的Fiddler&#xff0c;Mac上的Charles&#xff0c;主要用于查看、修改HTTP、HTTPS、Websocket的请求、响应&#xff0c;也可以作为HTTP代理服务器使用&#xff0c;不同于Fiddler通过断点修改请求响应…

手机端抓包分析

1前提&#xff1a; wireshark是针对网络端口进行抓包的一款工具&#xff0c;由于环境限制&#xff0c;一些通过wifi热点进行抓包的方式并不适用&#xff0c;所以涉及到对手机流量进行分析的时候&#xff0c;可以通过在手机上进行tcpdump&#xff0c;将抓取的pcap包通过wireshar…

fiddler手机抓包

1&#xff1a;打开fiddler&#xff0c;点击菜单栏的Tools->Options,进行设置。设置时&#xff0c;保证端口号不会被占用&#xff1b;设置完成&#xff0c;点击【ok】。 2&#xff1a;点击HTTPS&#xff0c;开始设置&#xff0c;必须勾选所选框中内容&#xff0c;设置完成点击…

手机抓包图文教程

手机抓包图文教程 给大家介绍下如何使用Fiddler进行手机抓包。 运行环境为Windows 10&#xff0c;使用手机为iPhone 7&#xff0c;iOS11系统。 0. 准备工作 首先需要确保手机及电脑在同一个局域网内&#xff0c;如连接了同一个无线路由器。 Fiddler配置 运行Fiddler后打开配置…

charles手机抓包教程

charles手机抓包教程 一、设置系统代理 二、电脑端安装证书 安装的时候就注意证书放在“受信任的证书委发机构”就行&#xff0c;其他的都是点下一步 三、设置代理 四、设置手机上的代理 让手机和电脑保持连接同一个wifi 先查看电脑端的地址 再设置手机代理&#xff08…

台式机fiddler手机抓包

台式机fiddler手机抓包 因为兴趣,最近研究了一下,如何对手机抓包,自己做个笔记,方便以后查看,现在简单说一下操作流程及操作中遇到的问题。 一、设备 1.无线USB网卡,电脑、手机。 因为手机用fiddler抓包的时候,需要电脑和手机要在同一个局域网,我自己的电脑是台式机,…

【fiddler】用fiddler实现iPhone手机抓包

一、fiddler的简介 fiddler是位于客户端和服务器端之间的代理&#xff0c;也是目前最常用的抓包工具之一 。 它能够记录客户端和服务器之间的所有 请求&#xff0c;可以针对特定的请求&#xff0c;分析请求数据、设置断点、调试web应用、修改请求的数据&#xff0c;甚至可以修…

Fiddler实现手机抓包——小白入门

手机用fiddler抓包 电脑最好是笔记本&#xff0c;这样能和手机保持统一局域网内&#xff1b;其他不多说&#xff0c;直接说步骤了。 一.对PC&#xff08;笔记本&#xff09;参数进行配置 1. 配置fiddler允许监听到https&#xff08;fiddler默认只抓取http格式的&#xff09; …

Burp-手机抓包

1.手机和电脑需要在同一网络下&#xff0c;可以连同一个wifi 或者 电脑开热点 2.配置代理。 在命令行中输入ipconfig。 在burp中设置代理 配置手机代理&#xff0c;选择手动代理&#xff0c;填写主机名&#xff08;ip&#xff09;和端口。 完成以上步骤&#xff0c;就可以抓到…

使用Fiddler进行手机抓包

配置fiddler&#xff0c;并进行手机抓包 一.由于fiddler只默认抓取HTTP的请求&#xff0c;若想抓取HTTPS的请求&#xff0c;则需要设置HTTPS的各项值&#xff1a; 第一步&#xff1a;在fiddler菜单项选择Tools -> Options -> HTTPS 第二步&#xff1a;勾选【Decrypt H…

安卓手机抓包方法归纳总结

安卓手机抓包方法归纳总结 最近需要对安卓应用发出的网络数据进行抓包分析&#xff0c;除了常见的HTTP还包括MQTT协议。 本文总结归纳了。手机端抓包的各种方法和思路 0x01 wireshark方案 在PC端抓过包的人一定不会对Wireshark感到陌生&#xff0c;该软件可以直接抓取流经网…

【fiddler】用fiddler实现android手机抓包

一、fiddler的简介 fiddler是位于客户端和服务器端之间的代理&#xff0c;也是目前最常用的抓包工具之一 。 它能够记录客户端和服务器之间的所有 请求&#xff0c;可以针对特定的请求&#xff0c;分析请求数据、设置断点、调试web应用、修改请求的数据&#xff0c;甚至可以修…