Ubuntu20.04下搭建Hadoop伪分布式集群

article/2025/9/10 8:23:11

Ubuntu虚拟机的安装

VW ware安装Ubuntu虚拟机及环境配置

关闭防火墙

为了减少搭建集群的复杂性，关闭防火墙如果对防火墙很了解可以可以不用关闭开放相应端口即可。借助ufw软件包使操作更方便。

# 安装防火墙工具
sudo apt-get install ufw# 开启
sudo ufw enablesudo ufw default deny  # 开启了防火墙并随系统启动同时关闭所有外部对本机的访问（本机访问外部正常）# 关闭
sudo ufw disable # 查看状态
sudo ufw status# 开放端口
sudo ufw allow 80 允许外部访问80端口sudo ufw delete allow 80 禁止外部访问80 端口sudo ufw allow from 192.168.1.1 允许此IP访问所有的本机端口sudo ufw deny smtp 禁止外部访问smtp服务sudo ufw delete allow smtp 删除上面建立的某条规则sudo ufw deny proto tcp from 10.0.0.0/8 to 192.168.0.1 port 22 要拒绝所有的TCP流量从10.0.0.0/8 到192.168.0.1地址的22端口

使防火墙处于关闭状态即可：
在这里插入图片描述

安装SSH

https://blog.csdn.net/xwh3165037789/article/details/123468111

安装jdk

https://blog.csdn.net/xwh3165037789/article/details/123468111

设置静态ip

https://blog.csdn.net/xwh3165037789/article/details/126306878

配置主机名

https://blog.csdn.net/xwh3165037789/article/details/126306878

映射ip地址与主机名

将ip地址与主机名映射的作用是使用主机名即可完成集群间的切换。

vi /etc/hosts

在这里插入图片描述
添加配置的静态ip和主机名即可。

ssh免密登录

ssh简介

在这里插入图片描述

在这里插入图片描述

完成主机ip映射之后使用密码实现主机间的切换：ssh root@[主机映射名称]

在这里插入图片描述
输入yes后会让你输入密码：
在这里插入图片描述
成功切换过去
在这里插入图片描述

此时是需要密码的，每次输入密码是很不方便的，也不能实现集群的自动化，接下来需要配置ssh免密登录。

在root用户下输入ssh-keygen -t rsa 三次回车
在这里插入图片描述

切换到秘钥目录cd ~/.ssh
在这里插入图片描述
将公钥id_rsa.pub复制到本机上cp id_rsa.pub authorized_keys
在这里插入图片描述

ssh连接远程主机的命令是ssh user@hostname==ssh [用户名][主机名]==根据上面主机映射的关系

在这里插入图片描述
共有三台主机和一个用户，用户是xwh，主机分别是master，xwh，localhost。就可以使用ssh user@hostname，经过免密登录的配置，现在切换已经不需要密码了。

在这里插入图片描述

完全分布式和伪分布式的主要却别也在此。

user@hostname

Hadoop的下载与安装

下载参考

创建hadoop文件夹并上传hadoop文件，并解压到当前目录：

tar -zxvf hadoop-2.10.1

在这里插入图片描述
因为下载的源码，要全局使用需要配置环境变量，环境变量的配置文件在/etc/profile

sudo vi /etc/profile

在这里插入图片描述

export HADOOP_HOME=/home/xwh/hadoop/hadoop-2.10.1
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH:$HOME/bin

如果是自己配置的jdk则java_home换为自己的路径即可，如果是安装的openjdk则其位置在：/usr/lib/jvm目录下：

在这里插入图片描述

配置完成后重启环境变量source /etc/profile，在使用hadoop命令检验是否配置成功，出现如下图所示即配置成功：

在这里插入图片描述

hadoop配置

hadoop-env.sh文件的配置：

配置文件所在目录，在解压的hadoop目录下：hadoop/hadoop-2.10.1/etc/hadoop

在这里插入图片描述

进入该目录如图所示：
在这里插入图片描述

将jdk路径配置在图上的JAVA_HOME处，只配置要jdk安装目录即可，不用到bin目录：

在这里插入图片描述

core-site.xml文件配置

在这里插入图片描述
配置如下：
在这里插入图片描述

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/xwh/hadoop/hadoop-2.10.1/tmp</value></property>
</configuration>

hdfs-site.xml文件配置

在这里插入图片描述
在这里插入图片描述

	<property><name>dfs.replication</name><value>1</value></property>

mapred-site.xml文件配置

目录下是没有该文件的只有一个模板，将mapred-site.xml.template复制一份改名即可。
在这里插入图片描述
复制命令cp mapred-site.xml.template mapred-site.xml
在这里插入图片描述

在这里插入图片描述

该步骤可省略

yarn-site.xml文件配置
在这里插入图片描述

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property><property><name>yarn.resourcemanager.address</name><value>bigdata:8032</value>
</property>

上面的配置根据自己实际修改

格式化分布式文件系统HDFS

该文件系统岁hadoop自动下载的的，格式化命令：hdfs namenode -format。只能格式化一次，若第一未成功需要删除上面配置的tmp目录重新格式化。

在这里插入图片描述
在这里插入图片描述

**启动集群start-dfs.sh**中途要输入一个yes：

在这里插入图片描述

namenode节点后台管理地址ip+端口号[50070/50090]

http://192.168.131.131:50070/

在这里插入图片描述

http://192.168.131.131:50090/

在这里插入图片描述

由于小编安装的openjsk没有jps命令，需要另外安装工具包sudo apt-get install java-1.7.0-openjdk-devel -y

如果出现错误就更新jdk版本sudo apt-get install openjdk-8-jdk就可以使用jstack，jps等调试命令了。

在这里插入图片描述
存在namenode和dataname说明配置成功。

使用stop-dfs.sh停止集群：

在这里插入图片描述

yarn作为集群的管理者，启动yarn的命令为：start-yarn.sh：

在这里插入图片描述
也可以输入ip+[yarn端口号]进入yarn管理中心,这是在之前yarn-site.xml配置的
在这里插入图片描述

当全部启动是使用jps调试命令：

在这里插入图片描述

需要注意的是在关闭集群是要依次关闭yarn，hadoop。stop-yarn.sh,stop-dfs.sh

在这里插入图片描述


http://chatgpt.dhexx.cn/article/ssrDDtdk.shtml

相关文章

Hadoop伪分布式集群的搭建

Hadoop伪分布式集群的搭建

一、准备虚拟机 1.从网上将VMware下载下来 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/gallery/banners/content/hero-generic-1400x350.jpg 2.下载centos https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/ 二、配置网络&…
阅读更多...
Hadoop完全分布式集群环境搭建

Hadoop完全分布式集群环境搭建

一、实验环境 主机操作系统&#xff1a;Windows7 以上&#xff08;64 位&#xff09;虚拟机软件&#xff1a;Oracle VM VirtualBox客户机操作系统&#xff1a;CentOS-6.8&#xff08;64 位&#xff09;JDK&#xff1a;1.8&#xff08;Linux 版&#xff09;SSH 连接客户端&…
阅读更多...
基于ubuntu的hadoop完全分布式集群搭建

基于ubuntu的hadoop完全分布式集群搭建

借鉴网址1 借鉴网址2 hadoop官方配置教程 搭建虚拟机&#xff0c;克隆&#xff08;或者先配置JAVA和Hadoop环境再克隆&#xff0c;之后要改主机名和映射以及SSH免密&#xff09; 可以利用xsync集群分发脚本一台机器配置其他机器分发 修改主机名和ip映射 检查 配置ssh免密登录…
阅读更多...
Linux 部署Hadoop伪分布式集群教程

Linux 部署Hadoop伪分布式集群教程

首先&#xff1a;我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包 链接&#xff1a; https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg 提取码&#xff1a;6s5a 接下来打开虚拟机终端&#xff0c;先创建一个文件夹用来解压Hadoop的tar包 接着使用xshell远程连接到…
阅读更多...
Jmeter分布式集群

Jmeter分布式集群

一、背景 JMeter是一款非常不错的开源压力测试工具&#xff0c;但在使用过程中也会遇到比较多问题排查&#xff0c;例如&#xff1a;起压机&#xff08;客户端&#xff09;请求并发数无法达到既定目标量、报内存溢出错误、错误事务数过高&#xff1b; JMeter有两种运行模式&a…
阅读更多...
hadoop分布式集群搭建

hadoop分布式集群搭建

Hadoop入门 1. 了解Hadoop 1.1 Hadoop 的优势&#xff08;4高&#xff09; 高可靠性&#xff1a;存在多个数据副本&#xff0c;即使某个元素或存储出现故障&#xff0c;也不会导致数据的丢失 高拓展性&#xff1a;在集群见分配任务数据&#xff0c;可方便的拓展数以千计的节…
阅读更多...
一文快速学会hadoop完全分布式集群搭建，很详细

一文快速学会hadoop完全分布式集群搭建，很详细

文章目录 前言一、准备工作二、克隆三台虚拟机并进行网络配置克隆虚拟机克隆引导修改网络配置验证验证方式一验证方式二 三、安装jdk和hadoop四、ssh免密登录配置概述生成公钥和私钥把公钥拷贝到三台虚拟机上面去验证把hadoop103 和 hadoop104的免密登录配置安装上面的操作再做…
阅读更多...
搭建Hadoop分布式集群的详细教程

搭建Hadoop分布式集群的详细教程

目录 写在前面 一、创建虚拟机&#xff0c;安装Centos 二、VMware VMnet8模式共享主机网络配置 三、克隆集群节点HadoopSlave1与HadoopSlave2 四、Linux系统配置 五、Hadoop的部署配置 六、Hadoop集群的启动 写在前面 搭建Hadoop集群的过程比较复杂&#xff0c;本文旨在…
阅读更多...
五大分布式集群架构问题解决方案

五大分布式集群架构问题解决方案

前言 什么是分布式集群&#xff1f; 这里有两个概念&#xff1a;分布式和集群。 分布式&#xff1a;分布式是指将不同的业务分布在不同的地方或者同一个业务模块分拆多个子业务&#xff0c;部署在不同的服务器上&#xff0c;解决高并发的问题。分布式中的每一个节点&#xf…
阅读更多...
redis分布式集群搭建

redis分布式集群搭建

一、软件环境信息 1、redis版本要求&#xff1a;3.0及之后版本 2、服务节点个数要求: 至少3个主节点&#xff0c;其中主节点不少于节点总数的一半&#xff1b;至多16384个节点&#xff1b;每个主节点至少有一个从节点&#xff0c;故redis集群模式至少需要6个服务节点。 3、…
阅读更多...
大数据Hadoop集群搭建 1（伪分布式集群）

大数据Hadoop集群搭建 1（伪分布式集群）

目录 Hadoop集群简介 Hadoop集群具体来说包含两个集群&#xff1a;HDFS集群和YARN集群。 Hadoop集群的部署方式分为三种&#xff0c;分别是单机模式、伪分布式模式和完全分布式模式。 环境搭建 1.修改主机名 2.修改时区 4.配置ssh免密 5.安装Hadoop 目录结构 配置文件说…
阅读更多...
HADOOP 伪分布式集群搭建

HADOOP 伪分布式集群搭建

一 linux 环境的搭建 由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建&#xff0c;所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 &#xff08;1&#xff09;创建好虚拟机后采用linux ISO镜像文件启动安装centos7操作系统&#xff08;其它…
阅读更多...
Zookeeper分布式集群部署

Zookeeper分布式集群部署

文章目录 一&#xff1a;zookeeper安装包下载安装1.下载安装包2.上传安装包3.解压安装包4.改名 二&#xff1a;zookeeper集群配置1.修改zoo.cfg配置文件2.创建myid文件3.配置系统环境变量4.分发zookeeper相关文件至从节点slave1&#xff0c;slave2 三&#xff1a;zookeeper服务…
阅读更多...
漫话：如何给女朋友解释什么是分布式和集群？

漫话：如何给女朋友解释什么是分布式和集群？

作者 | 漫小画 公号 | 漫话编程 漫小画 擅长漫话 程小员 擅长编程 某天&#xff0c;下班较早&#xff0c;我正在玩吃鸡&#xff0c;已经到决赛圈了&#xff0c;这时候&#xff0c;女朋友满脸求知欲的朝我走过来。 上次他们都说你给我讲的面向对象太简单了。 那你想怎样&#xf…
阅读更多...
什么是分布式集群？

什么是分布式集群？

首先来说一下集群的概念&#xff0c;集群是指将多台服务器集中起来一起进行同一种服务。相比一台服务器&#xff0c;集群的优势在于将负载均衡到每台服务器上&#xff0c;可以承载更高的访问量。 分布式又是什么呢&#xff0c;分布式指的是将工作进行业务拆分&#xff0c;然后…
阅读更多...
什么是分布式，分布式和集群的区别又是什么？这一篇让你彻底明白！

什么是分布式，分布式和集群的区别又是什么？这一篇让你彻底明白！

1. 什么是分布式 ? 分布式系统一定是由多个节点组成的系统。 其中&#xff0c;节点指的是计算机服务器&#xff0c;而且这些节点一般不是孤立的&#xff0c;而是互通的。 这些连通的节点上部署了我们的节点&#xff0c;并且相互的操作会有协同。 分布式系统对于用户而言&a…
阅读更多...
什么是集群？什么是分布式？集群与分布式的区别，集群和分布式的关系。

什么是集群？什么是分布式？集群与分布式的区别，集群和分布式的关系。

什么是集群 假如你开发了一个程序供大家使用&#xff0c;当然会把开发好的程序放到应用服务器中&#xff0c;刚开始用户量不大&#xff0c;用户访问的正常&#xff0c;服务器压力小。 但是随着用户量的增大&#xff0c;一台服务器不足以支撑系统的正常运行。 于是你决定把程…
阅读更多...
python 除法符号_python的除法运算符是什么

python 除法符号_python的除法运算符是什么

python的除法运算符是什么&#xff1f;python中除法运算符有两类&#xff0c;一种是浮点除法运算符&#xff0c;另一种是整除除法运算符。 1. / 浮点除法&#xff0c;就算分子分母都是int类型&#xff0c;也返回float类型&#xff0c;比如我们用4/2&#xff0c;返回2.0 2. // …
阅读更多...
c语言和Python整除符号,互联网常识：python除法运算符有哪些

c语言和Python整除符号,互联网常识：python除法运算符有哪些

python除法运算符&#xff1a;1、“/”运算符&#xff0c;按照常规数学除法计算的方式直接得出结果即可&#xff1b;2、“//”运算符&#xff0c;取整除&#xff0c;返回商的整数部分(向下取整)&#xff1b;3、“%”运算符&#xff0c;返回除法的余数。 本教程操作环境&#xf…
阅读更多...
python的除法_python中的除法

python的除法_python中的除法

广告关闭 腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！ 截断表示截断小数分，取整数部分的意思。 实际应用中，精确除法比截断除法更频繁，所以有的书上，精确除法也叫普通除法（也就是常用除法） 也有人把精确除法叫浮…
阅读更多...
推荐文章

Copyright @ 2022~2023