Linux 部署Hadoop伪分布式集群教程

article/2025/9/10 8:11:42

 首先:我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包

链接:

https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg

 提取码:6s5a

接下来打开虚拟机终端,先创建一个文件夹用来解压Hadoop的tar包

2842cc6372624dd6ba22c6bf69b5fc01.png

 接着使用xshell远程连接到虚拟机传输Hadoop的tar包(不会使用xshell可以参考这篇文章)http://t.csdn.cn/2fJ9m

b1536d819c894238923979de7846c45e.png输入命令:tar -zvxf hadoop-3.3.0 tar.gz开始解压tar包 

80fd7f676be845cdae5f3c6aec8af312.png 

接下来输入命令:ll就可以查看我们解压好的文件hadoop-3.3.0 

0cf6b94ea3004da0bb9498344b5315a8.png 

接下来我们需要创建一个空文件夹hadooptmp用来装hadoop格式化hdfs时产生文件 

e56c21c2bacd47eb8fa1807abf6f4b12.png 

 紧接着我们需要进入hadoop文件下编辑hadoop-env.sh配置jdk的路径(黑色背景的图片为在xhell中操作的命令直接在虚拟机的终端中输入命令也可以) 

f18fd62fb8e04f03ad8bcbfa5a71afc0.png在hadoop-env.sh中加入export  JAVA_HOME=/.../..(这里的自己安装的jdk的路径) 

98e2fe75be8d41b5ab4cad39e8f17053.png 接下来我们需要配置四个文件,第一个是 core-site.xml,输入命令: vim core-site.xml

63c22bd6996146bd9abb6a77752ed87c.png 

进入 core-site.xml之后配置以下内容

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadooptest:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/software/hadooptmp</value>
</property>
</configuration>

0228637e36da44f0b724ea09dcb58e49.png 

第二个需要配置的文件是hdfs-site.xml,输入命令 vim hdfs-site.xml

4043c27ed34e429eaffec472f61bf697.png 进入后输入配置内容:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

81ee0741addd4ba2af47d24661c6770e.png第三个需要配置的文件为mapred-site.xml输入命令:vim  mapred-site.xml进行配置

36e042a9df354a96863c9ef111c994f8.png进入文件后输入配置内容

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> 

27ede42d7c3643f782568cdb9f6183c7.png第四个文件是yarn-site.xml输入命令 :vim yarn-site.xml进行配置

f63a6dcf8c6648a6a2d5adc88e6ece47.png配置内容为:

 <configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

65742ba6dd514482bbd1c0b02e82b8fa.png 

接下来我们需要编辑workers中的内容,输入命令:vim workers进入编辑 

388dac32254b4d5081e29a3385ffd39e.png 把localhost注释掉(前面加入#),然后加入自己的主机名(hadooptest是我的主机名)

d2e66966a0bb4a80b9cec77d7dbd9749.png 

 紧接着我们开始配置环境变量,输入命令:vim ~/.bash_profile

6a0d2a01789a4e2984cbb5d696e29ca2.png 

进入后输入内容

expoet JAVA_HOME=.....(自己的jdk的安装路径) 

export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=.....(自己的hadoop安装路径)

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

0236e243b0a7443b9bbc42fd1e40a11d.png 

配置好环境变量之后记得输入命令:source ~/.bash_profile 加载环境变量使环境变量生效

2900181d19614b848631fa9d3da98ebb.png接下来我们需要格式化hdfs输入命令:hadoop namenode -format 

db15ac762b2e452bb47845d8750e0b3f.png 

 格式化完成之后输入命令:start-all.sh启动hadoop

6613c7f0dd1f4b05b1316d3b861adf8f.png启动完成之后输入命令:jps查看启动正在进行的进程(除jps之外中共有五个进程)

162fed76d72849c99c1d3b74c5bd957c.png 

接着进入浏览器中输入192.168.0.107:9870进行访问(192.168.0.107为自己虚拟机配置的IP地址) 

7fced1a5ff5c43399c9eb810c846fbef.png 再把9870改为8088就会出现访问如图所示网页

b0cfd54835d74d99b4851df42a9e30cc.png 这样Hadoop部署伪分布式集群就部署完成了!!!

 

 


http://chatgpt.dhexx.cn/article/hOSELxVS.shtml

相关文章

Jmeter分布式集群

一、背景 JMeter是一款非常不错的开源压力测试工具&#xff0c;但在使用过程中也会遇到比较多问题排查&#xff0c;例如&#xff1a;起压机&#xff08;客户端&#xff09;请求并发数无法达到既定目标量、报内存溢出错误、错误事务数过高&#xff1b; JMeter有两种运行模式&a…

hadoop分布式集群搭建

Hadoop入门 1. 了解Hadoop 1.1 Hadoop 的优势&#xff08;4高&#xff09; 高可靠性&#xff1a;存在多个数据副本&#xff0c;即使某个元素或存储出现故障&#xff0c;也不会导致数据的丢失 高拓展性&#xff1a;在集群见分配任务数据&#xff0c;可方便的拓展数以千计的节…

一文快速学会hadoop完全分布式集群搭建,很详细

文章目录 前言一、准备工作二、克隆三台虚拟机并进行网络配置克隆虚拟机克隆引导修改网络配置验证验证方式一验证方式二 三、安装jdk和hadoop四、ssh免密登录配置概述生成公钥和私钥把公钥拷贝到三台虚拟机上面去验证把hadoop103 和 hadoop104的免密登录配置安装上面的操作再做…

搭建Hadoop分布式集群的详细教程

目录 写在前面 一、创建虚拟机&#xff0c;安装Centos 二、VMware VMnet8模式共享主机网络配置 三、克隆集群节点HadoopSlave1与HadoopSlave2 四、Linux系统配置 五、Hadoop的部署配置 六、Hadoop集群的启动 写在前面 搭建Hadoop集群的过程比较复杂&#xff0c;本文旨在…

五大分布式集群架构问题解决方案

前言 什么是分布式集群&#xff1f; 这里有两个概念&#xff1a;分布式和集群。 分布式&#xff1a;分布式是指将不同的业务分布在不同的地方或者同一个业务模块分拆多个子业务&#xff0c;部署在不同的服务器上&#xff0c;解决高并发的问题。分布式中的每一个节点&#xf…

redis分布式集群搭建

一、软件环境信息 1、redis版本要求&#xff1a;3.0及之后版本 2、服务节点个数要求: 至少3个主节点&#xff0c;其中主节点不少于节点总数的一半&#xff1b;至多16384个节点&#xff1b;每个主节点至少有一个从节点&#xff0c;故redis集群模式至少需要6个服务节点。 3、…

大数据Hadoop集群搭建 1(伪分布式集群)

目录 Hadoop集群简介 Hadoop集群具体来说包含两个集群&#xff1a;HDFS集群和YARN集群。 Hadoop集群的部署方式分为三种&#xff0c;分别是单机模式、伪分布式模式和完全分布式模式。 环境搭建 1.修改主机名 2.修改时区 4.配置ssh免密 5.安装Hadoop 目录结构 配置文件说…

HADOOP 伪分布式集群搭建

一 linux 环境的搭建 由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建&#xff0c;所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 &#xff08;1&#xff09;创建好虚拟机后采用linux ISO镜像文件启动安装centos7操作系统&#xff08;其它…

Zookeeper分布式集群部署

文章目录 一&#xff1a;zookeeper安装包下载安装1.下载安装包2.上传安装包3.解压安装包4.改名 二&#xff1a;zookeeper集群配置1.修改zoo.cfg配置文件2.创建myid文件3.配置系统环境变量4.分发zookeeper相关文件至从节点slave1&#xff0c;slave2 三&#xff1a;zookeeper服务…

漫话:如何给女朋友解释什么是分布式和集群?

作者 | 漫小画 公号 | 漫话编程 漫小画 擅长漫话 程小员 擅长编程 某天&#xff0c;下班较早&#xff0c;我正在玩吃鸡&#xff0c;已经到决赛圈了&#xff0c;这时候&#xff0c;女朋友满脸求知欲的朝我走过来。 上次他们都说你给我讲的面向对象太简单了。 那你想怎样&#xf…

什么是分布式集群?

首先来说一下集群的概念&#xff0c;集群是指将多台服务器集中起来一起进行同一种服务。相比一台服务器&#xff0c;集群的优势在于将负载均衡到每台服务器上&#xff0c;可以承载更高的访问量。 分布式又是什么呢&#xff0c;分布式指的是将工作进行业务拆分&#xff0c;然后…

什么是分布式,分布式和集群的区别又是什么?这一篇让你彻底明白!

1. 什么是分布式 ? 分布式系统一定是由多个节点组成的系统。 其中&#xff0c;节点指的是计算机服务器&#xff0c;而且这些节点一般不是孤立的&#xff0c;而是互通的。 这些连通的节点上部署了我们的节点&#xff0c;并且相互的操作会有协同。 分布式系统对于用户而言&a…

什么是集群?什么是分布式?集群与分布式的区别,集群和分布式的关系。

什么是集群 假如你开发了一个程序供大家使用&#xff0c;当然会把开发好的程序放到应用服务器中&#xff0c;刚开始用户量不大&#xff0c;用户访问的正常&#xff0c;服务器压力小。 但是随着用户量的增大&#xff0c;一台服务器不足以支撑系统的正常运行。 于是你决定把程…

python 除法符号_python的除法运算符是什么

python的除法运算符是什么&#xff1f;python中除法运算符有两类&#xff0c;一种是浮点除法运算符&#xff0c;另一种是整除除法运算符。 1. / 浮点除法&#xff0c;就算分子分母都是int类型&#xff0c;也返回float类型&#xff0c;比如我们用4/2&#xff0c;返回2.0 2. // …

c语言和Python整除符号,互联网常识:python除法运算符有哪些

python除法运算符&#xff1a;1、“/”运算符&#xff0c;按照常规数学除法计算的方式直接得出结果即可&#xff1b;2、“//”运算符&#xff0c;取整除&#xff0c;返回商的整数部分(向下取整)&#xff1b;3、“%”运算符&#xff0c;返回除法的余数。 本教程操作环境&#xf…

python的除法_python中的除法

广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 截断表示截断小数分,取整数部分的意思。 实际应用中,精确除法比截断除法更频繁,所以有的书上,精确除法也叫普通除法(也就是常用除法) 也有人把精确除法叫浮…

python 整除及余数_python除法余数

广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 常量常量就是不变的变量,在python中,通常用大写的变量名表示常量,这一点和java想相同:ali_address=ali_address=www.alibaba.com4.除法python中和除法...- …

Python 计算之除法

文章目录 1. 除法 /2. 四舍五入round()3. 浮点数取整int()4. 地板除 //5. 向上取整math.ceil()6. 取小数和整数部分math.modf() 1. 除法 / a,b 95,20 c a/b print(a,a,b,b,c,c)运行结果&#xff1a; a 95 b 20 c 4.752. 四舍五入round() round()的第2个位置参数表示取小数…

微信小程序框架(思维导图)

这是小编整理的一份关于微信小程序框架的思维导图&#xff0c;建议大家电脑点击图片查看哦&#xff01;

微信小程序框架分析思维导图

微信小程序框架分析思维导图