HADOOP 伪分布式集群搭建

article/2025/9/10 11:00:52

一 linux 环境的搭建

由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例

1.  搭建vmware 虚拟机

(1)创建好虚拟机后采用linux ISO镜像文件启动安装centos7操作系统(其它方式也可以)

(2)完成之后设置网络模式,笔者采用桥接模式进行设置

         首先需要查看本机也就是宿主机的IP 地址以及网关,运行CMD命令进入DOS命令行窗口

         输入ipconfig 记下宿主机的默认网关

        打开vmware 网络适配器进行如下设置

     

   设置网卡IP地址以及DNS

vi /etc/sysconfig/network-scripts/ifcfg-ens33进行如下配置

BOOTPROTO=static

ONBOOT=yes

IPADDR=你的IP地址

NETMASK=255.255.255.0

GETWAY=宿主机的网关地址

DNS1和DNS2

设置完成保存 进行重启网络服务

    

重启之后可以使用IPADDR 查看配置是否生效

设置主机名

首先查看主机名

笔者这里已经设置过了,未设置 hostname 应该是localhost

设置主机名

 设置完成之后进行检查查看

设置hosts ip地址与主机名映射

vi /etc/hosts

 关闭防火墙

禁用防火墙服务

关闭之后可以查看防火墙状态进行检查

 进行selinux 安全设置

 vi /etc/selinux/config 命令进行编辑 设置SELINUX=disabled

 设置完成之后 输入命令reboot 进行重启,那么初始设置就设置好了

二 安装JDK 运行环境

由于Hadoop 依赖于JDK运行环境,笔者这里采用的是hadoop3.3.4版本,支持JDK11,所以笔者安装的也是JDK11 版本

1. 上传JDK 安装包至虚拟机后进行解压缩

2. 进入解压缩后的JDK目录 pwd 进行复制安装目录

         

 3. 进行环境变量设置

在文件末尾追加如下内容 后退出保存

 source /etc/profile 使环境变量设置生效

 4.使用java -version java javac 命令检查JDK 是否安装成功

二 安装Hadoop 

 1. 上传好Hdoop 安装包之后进行解压缩

 2. 进入hadoop 安装目录pwd 复制安装目录地址

3. 设置环境变量

打开之后追加如下内容

 

保存关闭后使用命令 source  /etc/profile 使环境变量配置生效

4. 进入/usr/local mkdir 创建目录hadoop (此目录用于存储namenode secondnamenode 快照文件)后面需要使用进行配置

至此为止hadoop 安装完成

三 配置hadoop 伪分布式集群

 1. 设置Hadoop 核心配置文件

进入Hadoop文件设置目录

其中有如下文件需要进行配置 

1. core-site.xml

(这里的属性hadoop.tmp.dir 就是你的hadoop namenode 快照存储位置)

2. mapred-site.xml

 

3. hdfs-site.xml

HDFS 会以128M为单位将上传的文件进行切分为若干个block 存储在不同的datanode中,由于为了在不可靠的机器上进行提供可靠的服务,所以采用多副本机制进行存储。 HDFS 副本数如果不进行设置则默认为3 

(这里笔者关闭了hdfs的权限认证)

  4.yarn-site.xml

5. hadoop-env.sh (运行环境配置)

添加安装好的JDK目录 进入hadoop 运行环境配置

6. 添加主机名至works 文件

2. 添加用户配置信息

1. 进入hadoop sbin目录

2. 编辑如下内容进入以下文件

(1) start-all.sh (2) stop-all.sh (3)start-dfs.sh (4) stop-dfs.sh (5) start-yarn.sh (6) stop-yarn.sh  

在这里以start-all.sh 为例:

3. 初始化HDFS 文件系统 

如果是第一次安装使用Hadoop那么在启动之前需要出示话HDFS文件系统

 看到如下信息则初始化完成

 4. 设置SSH免密登录

由于Hdoop namenode 与datanode 内部通讯协议采用RPC协议,则需要进行设置SSH免密登录

这里笔者采用RSA 对称加密算法

1. 创建密钥

2. 添加密钥进本机

 

 4. 启动hadoop

 使用JPS 查看是否启动成功

至此为止hadoop 伪分布式集群搭建完成

由于笔者是第一次进行编写,如有什么地方写的有遗漏欢迎指出进行更新改进

谢谢! 


http://chatgpt.dhexx.cn/article/vE1tIMjT.shtml

相关文章

Zookeeper分布式集群部署

文章目录 一:zookeeper安装包下载安装1.下载安装包2.上传安装包3.解压安装包4.改名 二:zookeeper集群配置1.修改zoo.cfg配置文件2.创建myid文件3.配置系统环境变量4.分发zookeeper相关文件至从节点slave1,slave2 三:zookeeper服务…

漫话:如何给女朋友解释什么是分布式和集群?

作者 | 漫小画 公号 | 漫话编程 漫小画 擅长漫话 程小员 擅长编程 某天,下班较早,我正在玩吃鸡,已经到决赛圈了,这时候,女朋友满脸求知欲的朝我走过来。 上次他们都说你给我讲的面向对象太简单了。 那你想怎样&#xf…

什么是分布式集群?

首先来说一下集群的概念,集群是指将多台服务器集中起来一起进行同一种服务。相比一台服务器,集群的优势在于将负载均衡到每台服务器上,可以承载更高的访问量。 分布式又是什么呢,分布式指的是将工作进行业务拆分,然后…

什么是分布式,分布式和集群的区别又是什么?这一篇让你彻底明白!

1. 什么是分布式 ? 分布式系统一定是由多个节点组成的系统。 其中,节点指的是计算机服务器,而且这些节点一般不是孤立的,而是互通的。 这些连通的节点上部署了我们的节点,并且相互的操作会有协同。 分布式系统对于用户而言&a…

什么是集群?什么是分布式?集群与分布式的区别,集群和分布式的关系。

什么是集群 假如你开发了一个程序供大家使用,当然会把开发好的程序放到应用服务器中,刚开始用户量不大,用户访问的正常,服务器压力小。 但是随着用户量的增大,一台服务器不足以支撑系统的正常运行。 于是你决定把程…

python 除法符号_python的除法运算符是什么

python的除法运算符是什么?python中除法运算符有两类,一种是浮点除法运算符,另一种是整除除法运算符。 1. / 浮点除法,就算分子分母都是int类型,也返回float类型,比如我们用4/2,返回2.0 2. // …

c语言和Python整除符号,互联网常识:python除法运算符有哪些

python除法运算符:1、“/”运算符,按照常规数学除法计算的方式直接得出结果即可;2、“//”运算符,取整除,返回商的整数部分(向下取整);3、“%”运算符,返回除法的余数。 本教程操作环境&#xf…

python的除法_python中的除法

广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 截断表示截断小数分,取整数部分的意思。 实际应用中,精确除法比截断除法更频繁,所以有的书上,精确除法也叫普通除法(也就是常用除法) 也有人把精确除法叫浮…

python 整除及余数_python除法余数

广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 常量常量就是不变的变量,在python中,通常用大写的变量名表示常量,这一点和java想相同:ali_address=ali_address=www.alibaba.com4.除法python中和除法...- …

Python 计算之除法

文章目录 1. 除法 /2. 四舍五入round()3. 浮点数取整int()4. 地板除 //5. 向上取整math.ceil()6. 取小数和整数部分math.modf() 1. 除法 / a,b 95,20 c a/b print(a,a,b,b,c,c)运行结果: a 95 b 20 c 4.752. 四舍五入round() round()的第2个位置参数表示取小数…

微信小程序框架(思维导图)

这是小编整理的一份关于微信小程序框架的思维导图,建议大家电脑点击图片查看哦!

微信小程序框架分析思维导图

微信小程序框架分析思维导图

微信小程序表单框架01

简易表单wxml界面代码与界面效果 文本框样式: 点击多列选择器,代码与效果如下: 多列选择器js代码:

新建微信小程序项目

文章目录 app.jsonapp.wxsspages/index/index.wxmlpages/index/index.wxss相关链接 使用微信开发者工具新建微信小程序项目:mydemo,不使用云开发,不使用模板,自动生成如下文件: app.jsapp.wxssapp.jsonpages index in…

搭建微信小程序vue框架步骤

搭建微信小程序vue框架步骤 1.下载node.js 下载地址:https://nodejs.org/en/download/ 查看node、npm版本,确保环境正确 node --version npm --version2.安装vue脚手架工具vue-cli npm install -g vue/cli-init3.初始化结构 vue init mpvue/mpvue-qu…

微信小程序自定义组件

目录 一.自定义组件 1.创建自定义组件 2.声明组件 3.使用组件 二.Tabs样式优化 三.标题激活选中 四.父向子组件传递数据 五.子向父传递数据 六.自定义组件-slot 七.自定义组件的其他属性 一.自定义组件 1.创建自定义组件 类似页面,一个自定义组件由json ,wxm…

微信小程序npm引用ui框架

第一步:创建新的小程序,winR 输入cmd命令,进入小程序所在文件夹 第二步:在小程序根目录下输入 npm init 进行初始化 成功之后,会多一个package.json的文件 第三步: 接着执行两行命令 1、npm install --pr…

从0到一开发微信小程序(3)—小程序框架配置

文章目录 其他相关文章1、小程序框架1.1、全局配置1.1.1、Pages1.1.1.1、entryPagePath1.1.1.2、生成页面方式 1.1.2、window1.1.3、tabBar与属性1.1.4、常用其他配置1.1.4.1、sitemapLocation1.1.4.2、style1.1.4.3、networkTimeout1.1.4.4、debug1.1.4.5、functionalPages1.1…

微信小程序云开发教程-微信小程序框架的介绍

同学们大家好,我是小伊同学,今天我们来学习微信小程序框架。 微信小程序实质上是一款基于web技术的应用程序,他和我们平常所接触到的前端网页是大同小异的。相同点在于他们使用的开发语言,代码结构以及代码的运行机制是一样。但是…

uni-app框架、微信小程序项目

一、微信小程序项目发布 1.确定项目中没有bug,不能是demo; ​ 2.查看项目包大小; ​ 3.填写小程序基本信息,比如名称 头像 介绍 服务类目 ​ 4.注意配置域名白名单(微信公众平台----->开发----->开发管理----->服务器域名---->…