基于CentOS虚拟机的Hadoop安装教程（自用备忘）

article/2025/10/17 14:21:31

该博文是用于记录Hadoop的安装过程，且记录其中出现的一些问题，防止日后遗忘

实验环境：

	虚拟机：CentOS7Hadoop：3.3.2java：java 8u331

下载连接：
CentOS：centos-7-x86_64-dvd-2009.iso
如果不能下载请到这里找可以下载的镜像网站：镜像
JDK：jdk-8u331-linux-x64.rpm
Hadoop：Hadoop-3.3.2

CentOS安装

使用VMware构造虚拟机
新建虚拟机
选择 经典（推荐）
在这里插入图片描述
填写全名，用户名和密码
在这里插入图片描述
注：用户名只能全小写，且root用户和该用户密码一致
下一步，下一步
在自定义硬件这里，需要小修改一下
处理器该栏取消勾选
在这里插入图片描述
然后耐心等待虚拟机构建好
在这里插入图片描述

至此虚拟机已经安装完毕

JDK配置

因为该虚拟机在构造的时候预先给我们配置好了java环境，但我们首先需要把他全部卸载掉，然后再安装我们的JDK
1.删除已有的jdk安装包
检测虚拟机上jdk安装包：rpm -qa | grep java
在这里插入图片描述
使用：rpm -e --nodeps 包名 删除jdk安装包直到所有jdk安装包都不存在为止
最后再次使用 rpm -qa | grep java 命令查看是否为空

2.安装jdk
这里使用的是 jdk-8u331-linux-x64.rpm进行安装，可根据自己需求自行选择压缩包或其他方式安装
把rpm文件拖入虚拟机，使用 rpm -ivh jdk-8u331-linux-x64.rpm 命令进行安装
在这里插入图片描述
安装完毕，java路径为 /usr/java/jdk1.8.0_331-amd64
PS：如果遇到这种安装失败情况，请重新下载一次rpm文件试试看，我这边在拖进虚拟机一次之后就不能再拖进一个新的虚拟机里面，新下的拖进去会弹窗报错，按一下retry就好
在这里插入图片描述

系统配置

设置主机名：vim /etc/sysconfig/network添加 HOSTNAME=cMaster另外两台机子为cSlave0和cSlave1
设置hosts使用ifconfig查看ip地址vim /etc/hosts   //ip是三台主机的ip地址，后面的是主机名[ip1] cMaster[ip2] cSlave0[ip3] cSlave1
关闭防火墙systemctl stop firewalld.service   //停止防火墙服务   systemctl disable firewalld.service   //不允许防火墙服务开机自启动

hadoop安装

把下载好的hadoop压缩包拖进虚拟机
使用 tar -zxvf hadoop-3.3.2.tar.gz解压缩
然后移动到 /opt 目录下
mv ./hadoop-3.3.2 /opt/
也可以在解压缩的时候指定目录
tar -zxvf hadoop-3.3.2.tar.gz -C /opt
移动到hadoop的配置目录
cd /opt/hadoop-3.3.2/etc/hadoop/

修改配置文件

hadoop-env.sh

JAVA_HOME=/usr/java/jdk1.8.0_331-amd64
路径为jdk路径

core-site.xml

在<configuation></configuation>中添加
<property><name>hadoop.tmp.dir</name><value>/opt/hadoop-3.3.2/hadoopdata</value></property>
<property><name>fs.defaultFS</name><value>hdfs://cMaster:8020</value></property>

hdfs-site.xml

<property><name>dfs.namenode.name.dir</name><value>/opt/hadoop-3.3.2/hadoopdata/name</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>/opt/hadoop-3.3.2/hadoopdata/data</value>
</property>
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.secondary.http.address</name><value>cSlave0:50090</value>
</property>
<property><name>dfs.http.address</name><value>0.0.0.0:50070</value></property>

yarn-site.xml

<property><name>yarn.resourcemanager.hostname</name><value>cMaster</value></property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
<property><name>yarn.application.classpath</name><value>/opt/hadoop-3.3.2/etc/hadoop:/opt/hadoop-3.3.2/share/hadoop/common/lib/*:/opt/hadoop-3.3.2/share/hadoop/common/*:/opt/hadoop-3.3.2/share/hadoop/hdfs:/opt/hadoop-3.3.2/share/hadoop/hdfs/lib/*:/opt/hadoop-3.3.2/share/hadoop/hdfs/*:/opt/hadoop-3.3.2/share/hadoop/mapreduce/lib/*:/opt/hadoop-3.3.2/share/hadoop/mapreduce/*:/opt/hadoop-3.3.2/share/hadoop/yarn:/opt/hadoop-3.3.2/share/hadoop/yarn/lib/*:/opt/hadoop-3.3.2/share/hadoop/yarn/*</value></property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>

mapred-site.xml

<property><name>mapreduce.framwork.name</name><value>yarn</value></property>

workers 添加三个结点的主机名

cMaster
cSlave0
cSlave1

设置环境变量

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_331-amd64
export HADOOP_HOME=/opt/hadoop-3.3.2
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
PATH=$PATH:$HOME/bin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=rootsource /etc/profile

重启后使用hadoop看一下是否成功设置
在这里插入图片描述
能够看到使用帮助的话为设定成功
初始化

hadoop namenode -format

出现这条信息代表初始化成功
在这里插入图片描述

启动hadoop

start-dfs.sh

但直接启动会报错，因为没有设置三台主机的免密登录
在这里插入图片描述

免密ssh登录设置：

ssh配置文件设置

//ssh配置
vim /etc/ssh/sshd_config
//添加
PermitRootLogin yes
UsePAM no
PasswordAuthentication no
RSAAuthentication yes
//修改
PubkeyAuthentication yes

在root用户下生成公钥和私钥

ssh-keygen

在这里插入图片描述
可以看到有三个文件
在这里插入图片描述
公钥：id_rsa.pub
私钥：id_rsa
生成保存其他主机公钥的文件touch ~/.ssh/authorized_keys
把三个主机的公钥信息都保存到authorized_keys文件中
使用cat ~/.ssh/id_rsa.pub 获取公钥信息，当然用vim也可以
在这里插入图片描述
把三台主机都配置好
配置好了之后可以直接使用ssh cSlave0访问，如果不需要密码就能ssh登录的话代表成功
注：这里把三台主机的公钥都添加进去，因为前面xml设置的时候把自己主机的结点也添加进去了，所以会访问自己，不然也会无法访问
注注：如果有自己想法可以按自己需求来，这里只是其中一个解决思路
参考：https://blog.csdn.net/qq_36657997/article/details/107691144

然后再次启动就可以了

访问localhost:50070,如果出现active代表启动成功
在这里插入图片描述
启动存储服务

cMaster
yarn-daemon.sh start resourcemanager 启动主存储服务
cSlave结点
yarn-daemon.sh start nodemanager  启动从存储服务

访问主节点的8088端口，如果出现该页面代表配置成功
在这里插入图片描述

一些踩过的坑：
1.在初始化的时候，无法访问主类
Could not find or load main class org.apache.hadoop…
这是因为在一开始使用了原本系统有的jdk，但具体路径不知道，所以出现错误，后来自己下载jdk解决
2.访问被拒绝
Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
在启动的时候会弹出这个错误，因为没有设置免密登录，所以无法访问其他两个结点

如果有其他问题可以参考一下这几篇博文：
https://blog.csdn.net/newbrid007/article/details/114398905
https://blog.csdn.net/qq_45981158/article/details/117434353


http://chatgpt.dhexx.cn/article/d5j8U8OC.shtml

相关文章

Hadoop安装与配置详细教程

Hadoop安装与配置详细教程

【确保服务器集群安装和配置已经完成&#xff01;】 前言 请根据读者的自身情况&#xff0c;进行相应随机应变。 我的三台CentOS7服务器&#xff1a; 主机&#xff1a;master&#xff08;192.168.56.110&#xff09; 从机&#xff1a;slave0&#xff08;192.168.56.111&…
阅读更多...
Hadoop安装教程 Linux版

Hadoop安装教程 Linux版

Hadoop安装教程 Linux版 一、Linux虚拟机安装 方法一&#xff1a;使用Windows下Linux子系统&#xff08;大佬可选&#xff09; 方法二&#xff1a;使用VMware安装Linux虚拟机&#xff08;小白可选&#xff09; 方法三&#xff1a;安装双系统&#xff08;不怕麻烦的可以试试&am…
阅读更多...
Ubuntu下的Hadoop安装

Ubuntu下的Hadoop安装

二、Hadoop安装 采用版本为hadoop-2.7.7 ①JDK的安装 2.1.1 创建文件夹 sudo mkdir /expt sudo chmod 777 /expt 这个出错我参考别的原因也改过来了&#xff0c; pkexec chmod 0440 /etc/sudoers 2.1.2 移动文件 之前已经解压过了&#xff0c;所以改一下位置就行了 2.1.3 创…
阅读更多...
hadoop 安装与测试

hadoop 安装与测试

1、下载安装包 登录官网hadoop.apache.org 下载安装包 版本可以根据自己的需求进行选择 本文需要下载的安装包是&#xff1a;Hadoop-3.1.3.tar.gz / jdk-14_linux-x64_bin.tar.gz 将Windows上的安装包上传到Linux上&#xff0c;方式有很多。本文是将安装包通过共享文件夹形式…
阅读更多...
Hadoop安装目录

Hadoop安装目录

/root/software/hadoop-2.6.0-cdh5.15.1/etc/hadoop第一步骤 vi core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop000:8020</value> </property> <property> <name>hadoop.t…
阅读更多...
hadoop安装常见问题

hadoop安装常见问题

目录 SSH服务器拒绝了密码。请再试一次​ ubuntu修改登陆用户名 这样ftp成功链接ubuntu 现在的ubuntu支持直接拖拽文件传输&#xff0c;不用ftp的 yarn是什么 linux配置java环境变量 hadoop安装包下载 linux不能编辑sshd_cofig SSH的简单理解和运用 SSH服务器拒绝了密…
阅读更多...
hadoop安装流程

hadoop安装流程

这篇文章主要记录安装hadoop的过程&#xff0c;给后来者一点帮助&#xff0c; 官网获取安装包 选一款你想要的 Apache Hadoop 下载完成后上传到服务器&#xff08;我用的是finalshell&#xff09; 先别急着解压 准备Java包 像上面一样官网下载对应的Java包 这边我已经准…
阅读更多...
hadoop安装

hadoop安装

hadoop安装 安装模板虚拟机 1) 设置虚拟机IP地址 2) 设置windows虚拟地址 3) 修改OS的IP地址 [roothadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTOstatic IPADDR # 自己的ip GATEWAY # 自己的网关地址 DNS1 # 自己的dns地址# 一定不要有空格!不要有…
阅读更多...
Hadoop 安装与配置

Hadoop 安装与配置

创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户&#xff0c;并使用/bin/bash 作为shell 虚拟机打开成功后&#xff0c;打开终端Terminal&#xff0c;开始创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 为hadoop设置一个密码 sudo passwd hadoop 为后续操作方…
阅读更多...
Hadoop 安装部署

Hadoop 安装部署

官网下载软件&#xff1a; Ubuntu : https://releases.ubuntu.com/ jdk &#xff1a; https://www.oracle.com/java/technologies/downloads/ Hadoop &#xff1a; https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器&#xff0c;解压 一 1. …
阅读更多...
Hadoop的安装与配置（非常重要）

Hadoop的安装与配置（非常重要）

官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNodesecondaryNameNodeDataNode 这是以主从模式来运行的&#xff0c;前两个在maser节点上&#xff0c;最后一个在slave节点上 1. 解压hadoop安装包 要学会从官方网站里找到历史镜像和release的发布版本来下载 我觉得从别人给的…
阅读更多...
hadoop安装教程（一次填完所有的坑）

hadoop安装教程（一次填完所有的坑）

文章目录 01 引言02 hadoop 安装2.1 下载与安装2.2 hadoop配置2.3 免登陆配置2.4 配置环境变量2.5 配置域名2.6 启动 03 相关命令 3.1 yarn相关命令 3.2 hdfs相关命令 04 一次填完所有的坑05 Yarn相关配置06 文末 01 引言 最近安装hadoop-2.7.7 版本的时候遇到了很多坑&#x…
阅读更多...
Hadoop安装部署全分布式搭建

Hadoop安装部署全分布式搭建

目录 1. 完全分布式模式介绍 2. 平台软件说明 3. 守护进程布局 4. 完全分布式搭建环境准备 4.1. 总纲 4.2. 关闭防⽕墙 4.3. 静态IP和主机名配置 4.4. 配置/etc/hosts⽂件 4.5. 免密登陆认证 4.6. 时间同步 4.6.1. 同步⽹络的时间 4.6.2. ⾃定义时间服务器 4.7. 安装Jdk和Ha…
阅读更多...
安装Hadoop集群（超详细！）

安装Hadoop集群（超详细！）

提示&#xff1a;安装前请准备好三台装有jdk的虚拟机 我这里名为hd01、hd02、hd03 hd01最好有hadoop和zookeeper的压缩包 文章目录 前言一、准备环境二、安装Hadoop总结 前言&#xff1a; 前面我写了一篇单机版的Hadoop安装&#xff0c;这里终于要装集群版&#xff0c;装集群版…
阅读更多...
hadoop的安装过程

hadoop的安装过程

Hadoop安装过程 Hadoop基础环境配置 1.1 使用户获得管理员权限 1.2网络环境配置 1.3免密登录 1.4JDK安装Hadoop安装Hadoop配置 3.1在$HADOOP_HOME/etc/hadoop/目录下需要配置以下文件 3.2格式化并启动hadoop 1.HADOOP基础环境配置 1.1 使用户获得管理员权限 1&#xff09;切…
阅读更多...
hadoop保姆级安装教程

hadoop保姆级安装教程

hadoop保姆级安装教程 文章目录 一、准备步骤&#xff1a;虚拟机安装二、配置网络三、免密登录四、安装hadoop 实现分布式集群安装&#xff0c;不再从入门到放弃&#xff01;&#xff01; 这是一篇超详细的Hadoop安装教程&#xff0c;历时两个星期&#xff0c;重装了三次&…
阅读更多...
Hadoop安装及使用

Hadoop安装及使用

1.简介&#xff1a; &#xff08;1&#xff09;Hadoop项目为可靠、可扩展的分布式计算开发开源软件。 &#xff08;2&#xff09;Hadoop 软件库是一个框架&#xff0c;它允许使用简单的编程模型跨计算机集群分布式处理大型数据 集。它旨在从单个服务器扩展到数千台机器&#xf…
阅读更多...
史上最详细的hadoop安装教程（含坑点）

史上最详细的hadoop安装教程（含坑点）

0.前言 最近因为需要所以要安装hadoop&#xff0c;但是网上怎么说呢&#xff0c;就是很混乱&#xff0c;各种资料&#xff0c;各种安装方法&#xff0c;总体来说都不是很有效果&#xff0c;经过了3天的挣扎&#xff0c;收集资料&#xff0c;才完成了部署。 1.从官网上获得对应…
阅读更多...
史上最详细的hadoop安装教程

史上最详细的hadoop安装教程

一、引言 首先说明一下&#xff0c;本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样&#xff0c;那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。 本机的配置环境如下&#xff1a; Hadoop(3.1.1) Ubu…
阅读更多...
hadoop安装（超详细）

hadoop安装（超详细）

本文用到的软件 设置固定IP &#xff08;1&#xff09; &#xff08;2&#xff09;修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33” #修改&#xff1a; ONBOOTyes NM_CONTROLLEDyes BOOTPROTOstatic \#添加以下内容 IPADDR192.168.128.130(根据自身情况) NE…
阅读更多...
推荐文章

Copyright @ 2022~2023