Hadoop安装教程 Linux版

article/2025/10/17 14:13:10

Hadoop安装教程 Linux版

一、Linux虚拟机安装

方法一：使用Windows下Linux子系统（大佬可选）
方法二：使用VMware安装Linux虚拟机（小白可选）
方法三：安装双系统（不怕麻烦的可以试试）

Note：安装虚拟机时选定你想要安装的Linux系统映像文件，该教程采用Ubuntu20.04版本。

a. 在VMware中新建虚拟机，选择程序光盘映像文件
VMware
b. 输入你的Linux名称，用户名和密码
Install
c. 根据向导提示完成安装
Note：安装时，虚拟机会自动下载文件，这一过程可以跳过以加速安装。

d. 启动虚拟机
Ubuntu

二、JDK环境安装

1. 下载JDK1.8

方法一：apt-get install openjdk-8-jdk
方法二：Oracle官网下载JDK1.8版本
方法三：百度网盘下载（链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc）

Note：将文件下载到桌面上，以便操作

2. 配置JDK环境变量

将JDK文件解压并移动到 /usr/local/java 文件夹下

cd ~/Desktop
tar -zxvf jdk-8u281-linux-x64.tar.gz
sudo mv jdk1.8.0_281/ /usr/local/java

在terminal中输入 sudo vi /etc/profile ，按 i 进入编辑模式：

JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

按 esc 退出编辑，输入 :wq 保存并退出。
在terminal中输入 source /etc/profile ，使配置的环境变量生效。

Linux下vi中使用方向键乱码解决办法

在Linux下，初始使用Vi的时候有两个典型的问题：

  1. 在编辑模式下使用方向键的时候，并不会使光标移动，而是在命令行中出现A、B、C、D四个字母；
  2. 当编辑出现错误，想要删除时，发现Backspace键不起作用，只能用Delete键来删除。

解决方法：

  1. 打开终端，输入命令 sudo gedit /etc/vim/vimrc.tiny ，进入vimrc.tiny文件的编辑状态
  2. 修改倒数第二行set compatible，将其改为set nocompatible；在set nocompatible下面添加一行：set backspace=2
  3. 保存，退出编辑。再使用vi时，已经可以正常使用方向键和Backspace。
    vimrc

二、Hadoop安装

1. 设置ssh免密码登录

因为Hadoop是分布式平台，需要多个机器之间协作，设置ssh免密码登录可以减少每次登陆主机输入密码的繁琐流程。

1) 安装SSH

Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server。
sudo apt-get install openssh-server

2) 设置免密登录

生成密钥对 ssh-keygen -t rsa ，回车到底
将公钥的内容写入到authorized_keys文件中 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3) 免密登录

ssh localhost
若能免密登录，即设置成功。

2. Hadoop下载与配置

1) 下载Hadoop

方法一：Hadoop官网下载
方法二：百度网盘下载（链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc）

2) 配置Hadoop环境变量

将Hadoop文件解压并移动到 /usr/local/hadoop 文件夹下

cd ~/Desktop
tar -zxvf hadoop-3.2.2.tar.gz
sudo mv hadoop-3.2.2 /usr/local/hadoop

在terminal中输入 sudo vi /etc/profile ，按 i 进入编辑模式：

HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按 esc 退出编辑，输入 :wq 保存并退出。
在terminal输入 source /etc/profile ，使配置的环境变量生效。

3) 修改Hadoop配置文件

打开 /usr/local/hadoop/etc/hadoop/ 文件夹：

o. 配置 hadoop-env.sh 文件

# 显式声明java路径
export JAVA_HOME=/usr/local/java

a. 配置 core-site.xml 文件

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!-- 指定hadoop运行时产生文件的存储路径 --><property><name>hadoop.tmp.dir</name><!-- 配置到hadoop目录下temp文件夹 --><value>file:/usr/local/hadoop/tmp</value></property>
</configuration>

b. 配置 hdfs-site.xml 文件

<configuration><property><!--指定hdfs保存数据副本的数量，包括自己，默认为3--><!--伪分布式模式，此值必须为1--><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><!-- name node 存放 name table 的目录 --><value>file:/usr/local/hadoop/tmp/hdfs/name</value></property><property><name>dfs.datanode.data.dir</name><!-- data node 存放数据 block 的目录 --><value>file:/usr/local/hadoop/tmp/hdfs/data</value></property>
</configuration>

c. 配置 mapred-site.xml 文件

<configuration><property><!--指定mapreduce运行在yarn上--><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

d. 配置 yarn-site.xml 文件

<configuration><property><!--NodeManager获取数据的方式--><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

3. 启动Hadoop

1) 初始化

在terminal中输入 hdfs namenode -format
（只初次启动需要）

2) 启动Hadoop集群

在terminal中输入 start-all.sh （或者分别输入 start-dfs.sh 和 start-yarn.sh）
使用 jps (JavaVirtualMachineProcessStatus) 命令查看Hadoop是否已启动，运行的java进程中应包含以下几种：

4050 Jps
3956 NodeManager
3653 SecondaryNameNode
3414 NameNode
3852 ResourceManager
3518 DataNode

3) 查看NameNode和Yarn

访问 http://localhost:9870/dfshealth.html#tab-overview
namenode
访问 http://localhost:8088/cluster
yarn

4) 运行Hadoop自带的wordcount程序

a. 新建一个 words.txt 文件并输入几个单词
b. 在hdfs文件系统上创建input文件夹 hdfs dfs -mkdir /input
c. 将word.txt放入input文件夹 hdfs dfs -put words.txt /input
d. 查看是否已放入文件 hdfs dfs -ls /input
e. 运行wordcount程序 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /input /output
（Note：输出目录必须是一个不存在的目录，输出结果无法存放在已有目录中）
f. 查看程序输出 hdfs dfs -ls /output
g. 打开输出文件 hdfs dfs -cat /output/part-r-00000

若报错 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
则在terminal中输入 hadoop classpath ，查看输出结果：
(/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/:/usr/local/hadoop/share/hadoop/common/:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/:/usr/local/hadoop/share/hadoop/hdfs/:/usr/local/hadoop/share/hadoop/mapreduce/lib/:/usr/local/hadoop/share/hadoop/mapreduce/:/usr/local/hadoop/share/hadoop/yarn:/usr/local/hadoop/share/hadoop/yarn/lib/:/usr/local/hadoop/share/hadoop/yarn/)
将输出结果配置到 yarn-site.xml 文件

<property><name>yarn.application.classpath</name><value>/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/yarn:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*</value>
</property>

5) 关闭Hadoop集群

在terminal中输入 stop-all.sh （或 stop-yarn.sh + stop-dfs.sh）

三、Spark安装

1. 安装Scala

1) 下载Scala

方法一：apt-get install scala
方法一：Scala官网下载
方法二：百度网盘下载（链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc）

2) 配置Scala环境变量

将Scala文件解压，并移动到 /usr/local/scala 文件夹下

cd ~/Downloads/
tar -zxvf scala-2.12.13.tgz
sudo mv scala-2.12.13 /usr/local/scala

在terminal中输入 sudo vi /etc/profile ，按 i 进入编辑模式：

SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

按 esc 退出编辑，输入 :wq 保存并退出。
在terminal中输入 source /etc/profile ，使配置的环境变量生效。

2. Spark下载与配置

1) 下载Spark

方法一：Spark官网下载
方法二：百度网盘下载（链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc）

2) 配置Spark环境变量

将Spark文件解压，并移动到 /usr/local/spark 文件夹下

cd ~/Downloads/
tar -zxvf spark-3.1.1-bin-hadoop3.2.tgz
sudo mv spark-3.1.1-bin-hadoop3.2 /usr/local/spark

在terminal中输入 sudo vi /etc/profile ，按 i 进入编辑模式：

SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

按 esc 退出编辑，输入 :wq 保存并退出。
在terminal中输入 source /etc/profile ，使配置的环境变量生效。

3) 修改Spark配置文件

打开 /usr/local/spark/sbin/ 文件夹：

o. 配置 spark-config.sh 文件

# 显式声明java路径
export JAVA_HOME=/usr/local/java

3. 启动Spark

首先启动Hadoop集群 start-all.sh

1) 启动master

在terminal输入 cd $SPARK_HOME 进入Spark文件夹
./sbin/start-master.sh

访问 http://localhost:8080 ，获取master的URL信息。

master

2) 启动slave

复制上图红线标出的URL，替换下面命令的URL部分（spark://—）
./sbin/start-worker.sh spark://—

3) 同时启动master和slave

使用以下命令可以同时启动master和slave
./sbin/start-all.sh
（替代 ./sbin/start-master.sh + ./sbin/start-worker.sh）
使用 jps 命令查看Spark是否已启动，运行的java进程中应包含以下几种：

7968 SecondaryNameNode
8177 ResourceManager
8313 NodeManager
7641 NameNode
7770 DataNode
93021 Jps
92911 Worker
92398 Master

4) 关闭Spark

在terminal中输入 ./sbin/stop-all.sh (或者分别输入 ./sbin/stop-worker 和 ./sbin/stop-master)

三、Flink安装

1. Flink下载与配置

1) 下载Flink

方法一：Flink官网下载
方法二：百度网盘下载（链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc）

2) 配置Flink环境变量

将Flink文件解压，并移动到 /usr/local/flink 文件夹下

cd ~/Downloads/
tar -zxvf flink-1.12.2-bin-scala_2.12.tgz
sudo mv flink-1.12.2 /usr/local/flink

在terminal中输入 sudo vi /etc/profile ，按 i 进入编辑模式：

FLINK_HOME=/usr/local/flink
export PATH=$PATH:$FLINK_HOME/bin

按 esc 退出编辑，输入 :wq 保存并退出。
在terminal中输入 source /etc/profile ，使配置的环境变量生效。

2. 启动Flink

1) 启动Flink

在terminal中输入 start-cluster.sh

使用 jps 命令查看Flink是否已启动，运行的java进程中应包含以下几种：

100580 StandaloneSessionClusterEntrypoint
100838 TaskManagerRunner
100888 Jps

访问 http://localhost:8081，查看管理界面
namenode

2) 关闭Flink

在terminal中输入 stop-cluster.sh


http://chatgpt.dhexx.cn/article/9btumjF7.shtml

相关文章

Ubuntu下的Hadoop安装

Ubuntu下的Hadoop安装

二、Hadoop安装 采用版本为hadoop-2.7.7 ①JDK的安装 2.1.1 创建文件夹 sudo mkdir /expt sudo chmod 777 /expt 这个出错我参考别的原因也改过来了&#xff0c; pkexec chmod 0440 /etc/sudoers 2.1.2 移动文件 之前已经解压过了&#xff0c;所以改一下位置就行了 2.1.3 创…
阅读更多...
hadoop 安装与测试

hadoop 安装与测试

1、下载安装包 登录官网hadoop.apache.org 下载安装包 版本可以根据自己的需求进行选择 本文需要下载的安装包是&#xff1a;Hadoop-3.1.3.tar.gz / jdk-14_linux-x64_bin.tar.gz 将Windows上的安装包上传到Linux上&#xff0c;方式有很多。本文是将安装包通过共享文件夹形式…
阅读更多...
Hadoop安装目录

Hadoop安装目录

/root/software/hadoop-2.6.0-cdh5.15.1/etc/hadoop第一步骤 vi core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop000:8020</value> </property> <property> <name>hadoop.t…
阅读更多...
hadoop安装常见问题

hadoop安装常见问题

目录 SSH服务器拒绝了密码。请再试一次​ ubuntu修改登陆用户名 这样ftp成功链接ubuntu 现在的ubuntu支持直接拖拽文件传输&#xff0c;不用ftp的 yarn是什么 linux配置java环境变量 hadoop安装包下载 linux不能编辑sshd_cofig SSH的简单理解和运用 SSH服务器拒绝了密…
阅读更多...
hadoop安装流程

hadoop安装流程

这篇文章主要记录安装hadoop的过程&#xff0c;给后来者一点帮助&#xff0c; 官网获取安装包 选一款你想要的 Apache Hadoop 下载完成后上传到服务器&#xff08;我用的是finalshell&#xff09; 先别急着解压 准备Java包 像上面一样官网下载对应的Java包 这边我已经准…
阅读更多...
hadoop安装

hadoop安装

hadoop安装 安装模板虚拟机 1) 设置虚拟机IP地址 2) 设置windows虚拟地址 3) 修改OS的IP地址 [roothadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTOstatic IPADDR # 自己的ip GATEWAY # 自己的网关地址 DNS1 # 自己的dns地址# 一定不要有空格!不要有…
阅读更多...
Hadoop 安装与配置

Hadoop 安装与配置

创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户&#xff0c;并使用/bin/bash 作为shell 虚拟机打开成功后&#xff0c;打开终端Terminal&#xff0c;开始创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 为hadoop设置一个密码 sudo passwd hadoop 为后续操作方…
阅读更多...
Hadoop 安装部署

Hadoop 安装部署

官网下载软件&#xff1a; Ubuntu : https://releases.ubuntu.com/ jdk &#xff1a; https://www.oracle.com/java/technologies/downloads/ Hadoop &#xff1a; https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器&#xff0c;解压 一 1. …
阅读更多...
Hadoop的安装与配置（非常重要）

Hadoop的安装与配置（非常重要）

官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNodesecondaryNameNodeDataNode 这是以主从模式来运行的&#xff0c;前两个在maser节点上&#xff0c;最后一个在slave节点上 1. 解压hadoop安装包 要学会从官方网站里找到历史镜像和release的发布版本来下载 我觉得从别人给的…
阅读更多...
hadoop安装教程（一次填完所有的坑）

hadoop安装教程（一次填完所有的坑）

文章目录 01 引言02 hadoop 安装2.1 下载与安装2.2 hadoop配置2.3 免登陆配置2.4 配置环境变量2.5 配置域名2.6 启动 03 相关命令 3.1 yarn相关命令 3.2 hdfs相关命令 04 一次填完所有的坑05 Yarn相关配置06 文末 01 引言 最近安装hadoop-2.7.7 版本的时候遇到了很多坑&#x…
阅读更多...
Hadoop安装部署全分布式搭建

Hadoop安装部署全分布式搭建

目录 1. 完全分布式模式介绍 2. 平台软件说明 3. 守护进程布局 4. 完全分布式搭建环境准备 4.1. 总纲 4.2. 关闭防⽕墙 4.3. 静态IP和主机名配置 4.4. 配置/etc/hosts⽂件 4.5. 免密登陆认证 4.6. 时间同步 4.6.1. 同步⽹络的时间 4.6.2. ⾃定义时间服务器 4.7. 安装Jdk和Ha…
阅读更多...
安装Hadoop集群（超详细！）

安装Hadoop集群（超详细！）

提示&#xff1a;安装前请准备好三台装有jdk的虚拟机 我这里名为hd01、hd02、hd03 hd01最好有hadoop和zookeeper的压缩包 文章目录 前言一、准备环境二、安装Hadoop总结 前言&#xff1a; 前面我写了一篇单机版的Hadoop安装&#xff0c;这里终于要装集群版&#xff0c;装集群版…
阅读更多...
hadoop的安装过程

hadoop的安装过程

Hadoop安装过程 Hadoop基础环境配置 1.1 使用户获得管理员权限 1.2网络环境配置 1.3免密登录 1.4JDK安装Hadoop安装Hadoop配置 3.1在$HADOOP_HOME/etc/hadoop/目录下需要配置以下文件 3.2格式化并启动hadoop 1.HADOOP基础环境配置 1.1 使用户获得管理员权限 1&#xff09;切…
阅读更多...
hadoop保姆级安装教程

hadoop保姆级安装教程

hadoop保姆级安装教程 文章目录 一、准备步骤&#xff1a;虚拟机安装二、配置网络三、免密登录四、安装hadoop 实现分布式集群安装&#xff0c;不再从入门到放弃&#xff01;&#xff01; 这是一篇超详细的Hadoop安装教程&#xff0c;历时两个星期&#xff0c;重装了三次&…
阅读更多...
Hadoop安装及使用

Hadoop安装及使用

1.简介&#xff1a; &#xff08;1&#xff09;Hadoop项目为可靠、可扩展的分布式计算开发开源软件。 &#xff08;2&#xff09;Hadoop 软件库是一个框架&#xff0c;它允许使用简单的编程模型跨计算机集群分布式处理大型数据 集。它旨在从单个服务器扩展到数千台机器&#xf…
阅读更多...
史上最详细的hadoop安装教程（含坑点）

史上最详细的hadoop安装教程（含坑点）

0.前言 最近因为需要所以要安装hadoop&#xff0c;但是网上怎么说呢&#xff0c;就是很混乱&#xff0c;各种资料&#xff0c;各种安装方法&#xff0c;总体来说都不是很有效果&#xff0c;经过了3天的挣扎&#xff0c;收集资料&#xff0c;才完成了部署。 1.从官网上获得对应…
阅读更多...
史上最详细的hadoop安装教程

史上最详细的hadoop安装教程

一、引言 首先说明一下&#xff0c;本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样&#xff0c;那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。 本机的配置环境如下&#xff1a; Hadoop(3.1.1) Ubu…
阅读更多...
hadoop安装（超详细）

hadoop安装（超详细）

本文用到的软件 设置固定IP &#xff08;1&#xff09; &#xff08;2&#xff09;修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33” #修改&#xff1a; ONBOOTyes NM_CONTROLLEDyes BOOTPROTOstatic \#添加以下内容 IPADDR192.168.128.130(根据自身情况) NE…
阅读更多...
Charles安卓8手机抓包

Charles安卓8手机抓包

目的 通过PC端的Charles&#xff0c;对安卓系统8的手机APP进行抓包。 先说明&#xff0c;只能对Android10以下进行抓包&#xff0c;高版本的不行。 步骤 1、PC端安装Charles并破解 可以去Charles官网下载应用&#xff0c;下载好之后直接安装到本地。 下载链接&#xff1a;h…
阅读更多...
fiddler安卓模拟器与ios手机抓包

fiddler安卓模拟器与ios手机抓包

一.安卓模拟器(雷电模拟器)抓包 1.1fiddler基本配置 1.2导出Fiddler证书 Tools -> Options -> HTTPS -> Actions -> Export Root Certificate to Desktop 在桌面上看到导出的FiddlerRoot.cer证书文件 1.3下载和安装openssl openssl下载地址 git终端输入 open…
阅读更多...
推荐文章

Copyright @ 2022~2023