hadoop配置文件

article/2025/10/8 22:10:44

安装前的工作:

  1. jdk
  2. 集群中节计算机互联互通
  3. 关闭防火墙
  4. 节点间的计算机免密码登录(authorized_keys认证文件root用户存放在/root/.ssh/)
    (User用户 /home/user/.ssh/)
    A计算机免密码登录B计算机,将A计算机的公钥存放在B计算机的认证文件authorized_keys
    产生
    安装hadoop
    Bin目录-命令eg : hadoop namenode -format
    Sbin目录-各种启动文件\停止服务
    Etc/hadoop/ 各种配置文件
    在这里插入图片描述
    1.hadoop-env.sh 环境配置
export JAVA_HOME=${JAVA_HOME}
[root@NAME250 hadoop]# echo $JAVA_HOME
/software/jdk1.8.0_65
[root@NAME250 hadoop]#

2.core-site.xml 核心配置
3.hdfs-site.xml
4.yarn-site.xml
5. mapred-site.xml cp mapred-site.xml.template mapred-site.xml
6. slaves 从节点计算机
7. masters主节点配置
配置core-site.xml(如图1-60所示)。

[root@master hadoop]# vi core-site.xml
        <property><name>fs.defaultFS</name><value>hdfs://master:9000</value>//master是主节点namenode主机名:9000端口号</property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/hadoop/tmp</value></property>

备注:如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错。
在这里插入图片描述
7)配置hdfs-site.xml(如图1-61所示)。

[root@master hadoop]# vi hdfs-site.xml
     <property><name>dfs.namenode.name.dir</name><value>file:/usr/hadoop/dfs/name</value></property><property><name>dfs.namenode.data.dir</name><value>file:/usr/hadoop/dfs/data</value></property><property><name>dfs.replication</name>  //复本数量 <value>3</value> </property>

修改Hadoop中HDFS的配置,配置的备份方式默认为3
在这里插入图片描述
8)配置yarn-site.xml(如图1-62所示)。

[root@master hadoop]# vi yarn-site.xml 
 <property><name>yarn.resourcemanager.address</name><value>master:8032</value>//</property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value>
</property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>

在这里插入图片描述
9)配置mapred-site.xml(如图1-63所示)。

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vi mapred-site.xml
        <property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>

在这里插入图片描述
10)配置masters文件(如图1-64所示)。

[root@master hadoop]# vi masters  #加入以下内容  主节点的IP地址

在这里插入图片描述
11)配置slaves文件(如图1-65所示)。

[root@master hadoop]# vi slaves  #删除localhost,加入以下内容  从节点的IP地址

在这里插入图片描述
至此 配置文件基本配置完毕。
12)新建目录。

[root@master hadoop]# mkdir /usr/hadoop/tmp
[root@master hadoop]# mkdir /usr/hadoop/dfs/name -p
[root@master hadoop]# mkdir /usr/hadoop/dfs/data -p

13)修改/usr/hadoop目录的权限。

[root@master hadoop]# chown -R hadoop:hadoop /usr/hadoop/

14)将master上的hadoop安装文件同步到slave1 slave2 slave3。

[root@master hadoop]#cd
[root@master ~]# scp -r /usr/hadoop/ root@slave1:/usr/
[root@master ~]# scp -r /usr/hadoop/ root@slave2:/usr/
[root@master ~]# scp -r /usr/hadoop/ root@slave3:/usr/

15)在每个slave节点上配置hadoop的环境变量(所有slave节点)。

[root@master ~]# vi /etc/profile  #文件末尾添加
# set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

16)使配置的hadoop的环境变量生效(所有slave节点)。

[root@master ~]# source /etc/profile

17)修改/usr/hadoop目录的权限(所有slave节点)。

[root@master ~]# chown -R hadoop:hadoop /usr/hadoop/

18)切换到hadoop用户(所有slave节点)。

[root@master ~]#su - hadoop

19)先格式化(master节点)。

[hadoop@master ~]$ hadoop namenode -format

20)启动hadoop(master节点)(如图1-66所示)。

[hadoop@master ~]$ start-all.sh

21)查看Java进程(如图1-67所示)。
master节点

[hadoop@master ~]$ jps

在这里插入图片描述
Slave1节点(如图1-68所示)。
[hadoop@slave1~]$ jps
在这里插入图片描述
Slave2节点(如图1-69所示)。
[hadoop@slave2~]$ jps
在这里插入图片描述
Slave3节点(如图1-70所示)。
[hadoop@slave3~]$ jps
在这里插入图片描述
5)使用浏览器浏览Master节点机http://192.168.150.81:50070,查看NameNode节点状态(如图1-71所示)。
在这里插入图片描述
6)浏览Datanode数据节点
在这里插入图片描述
注意
:这俩操作是必须执行的,不然浏览器访问不了数据节点
在这里插入图片描述


http://chatgpt.dhexx.cn/article/TZMwGnHr.shtml

相关文章

4.Hadoop环境配置

4. 集群配置 4.1 集群部署规划 安装前先做好节点规划&#xff0c;完全分布式目前规划1个主节点&#xff08;Master&#xff09;和2个从节点&#xff08;Slave&#xff09;一共三个节点。 部署规划要求&#xff1a; NameNode和SecondaryNameNode不要安装在同一台服务器。Reso…

hadoop环境配置

hadoop环境配置 一、VmWare与linux版本VmWare版本&#xff1a;linux版本 二、使用VmWare来安装linux软件三、三台linux服务器环境准备1、三台机器IP设置2、三台机器关闭防火墙3、三台机器关闭selinux4、三台机器更改主机名5、三台机器更改主机名与IP地址映射6、三台机器同步时间…

hadoop详细安装及配置

一、下载 http://hadoop.apache.org/ hadoop官网 二、解压 注&#xff1a;使用管理员权限解压 三、配置环境变量 添加HADOOP_HOME配置&#xff1a;自己安装hadoop路径&#xff0c;我的是D:\hadoop-3.0.3 在Path中添加如下&#xff1a;自己安装hadoop路径/bin&#xff0c;…

Hadoop集群的配置

一.、创建虚拟机 (10条消息) CentOS 7 虚拟机的搭建_仄言2997的博客-CSDN博客 1. 创建虚拟机 2. 安装 CentOS 二、虚拟机网络设置 (10条消息) 虚拟机网络配置_仄言2997的博客-CSDN博客 三、 安装JDK (10条消息) 虚拟机安装jdk&#xff0c;运行java文件_仄言2997的博客-CSDN博客…

Hadoop集群环境配置搭建

一、简单介绍 Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene&#xff0c;这个搜索引擎在2001年成为Apache基金会的一个子项目&#xff0c;也是 ElasticSearch等重要搜索引擎的底层基础。 项目官方&#xff1a;https://hadoop.apache.org/ 二、Linux环…

超详解Hadoop集群环境配置,步步附有截图,一篇讲解清楚

写在最前&#xff0c;在配置Hadoop之前&#xff0c;要确定已经准备好了Hadoop的准备环境&#xff0c;并且已经在机器上安装完了Hadoop&#xff0c;以及编写了一些必要的集群脚本&#xff0c;具体操作详情见这两篇文章 Hadoop安装及集群脚本编写 Hadoop集群准备环境搭建 一、Ha…

大数据开发之Hadoop学习3--Hadoop运行模式

Hadoop运行模式 目录 Hadoop运行模式 4.1 本地运行模式&#xff08;官方wordcount&#xff09; 4.2 完全分布式运行模式 4.2.1 虚拟机准备 4.2.2 编写集群分发脚本xsync 4.2.3 SSH无密登录配置 4.2.4 集群配置 4.2.5 群起集群 4.2.6 集群启动/停止方式总结 4.2.7 配置…

Hadoop完全分布式集群——Hadoop 配置

前面已完成VMware虚拟机安装与配置&#xff08;参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客&#xff09;&#xff0c;下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作&#xff1a; …

简易员工信息管理系统

这是一个虽然简单但很有代表性和借鉴性的管理系统。没有使用现有框架SSH等&#xff0c;使用自有JavaBeanJSPServlet技术。 该系统的源码经过细心打磨&#xff0c;可以作为去Spring框架的简单Web系统开发模板使用&#xff0c;从设计模式、函数式编程、Lambda表达式、业务分层、页…

基于SSH学生请假管理系统

【A-021】基于SSH学生请假管理系统 开发环境&#xff1a; Eclipse/MyEclipse、Tomcat8、Jdk1.8 数据库&#xff1a; MySQL &#xff08;1&#xff09;管理员模块 定义一个最高级管理员&#xff0c;可以对整个系统进行查询修改等操作&#xff0c;浏览修改其他管理员的相关信息…

简单的员工信息管理系统

需求&#xff1a; 做一个简易命令行版本的员工信息管理系统 现有员工&#xff1a;张三&#xff0c;年龄23&#xff0c;工号9527&#xff1b;李四&#xff0c;年龄32&#xff0c;工号&#xff0c;007&#xff1b; 王五&#xff0c;年龄22&#xff0c;工号&a…

员工考勤系统

需求&#xff1a; 一、用户管理 1、用户列表 列表字段&#xff1a;姓名、登录名、性别、手机号、薪资、岗位、角色 列表按钮&#xff1a;编辑、启用、停用、重置密码 搜索条件&#xff1a;用户名、状态&#xff08;启用停用&#xff09; 顶部按钮&#xff1a;新增用户 导入、导…

企业如何利用OA系统轻松管理员工请休假

企业的员工想请个假&#xff0c;为什么人事和员工都在喊难&#xff1f; 员工请假麻烦&#xff1a; 不知道自己还有多少年假没有休&#xff0c;每次都要去人事那里查&#xff0c;有事请假要找领导报备交接工作&#xff0c;填完单子还要找领导签字&#xff0c;如果哪天请假领导出…

JavaEE技术的员工请假管理系统的设计与实现

摘 要 近年来&#xff0c;随着网络产业的飞速发展&#xff0c;人们的日常生活和工作方式也随之发生变化。许多公司正在把常规的工作方式与因特网相融合&#xff0c;借助因特网的力量来提升管理者的工作能力。当前很多员工请假管理系统工作都有很多问题&#xff0c;所以针对员…

人事管理系统如何做好员工考勤管理?

企业考勤管理的主要难题在于考勤、排班、假勤这三块&#xff0c;对于考勤来说&#xff0c;往往存在一些漏打卡、代打卡、打卡慢的情况&#xff1b; 对于排班&#xff0c;存在着多班次混排的情况&#xff0c;对各人员调配、设备调配、轮班作业、生产计划调整等有复杂调配需求&a…

【023】Springboot+vue+mysql员工考勤管理系统(多角色登录、请假、打卡)(含源码、数据库、运行教程)

前排提示&#xff1a;项目源码已放在文末 开发环境&#xff1a;SpringbootMysqlVueNodejsMavenJDK1.8 技术栈&#xff1a;spring-boot、mysql、mybatis-plus、druid连接池。 部分功能及代码介绍&#xff1a; 1.员工类型&#xff1a;部门经理、副总经理、总经理、人事人员、财务…

【024】Vue+Springboot+mysql员工考勤管理系统(多角色登录、请假、打卡)(含源码、数据库、运行教程、实验报告)

前排提示&#xff1a;项目源码已放在文末 基于VueSpringbootmysql员工考勤管理系统(多角色登录、请假、打卡) 开发环境&#xff1a;SpringbootMysqlVueNodejsMavenJDK1.8 技术栈&#xff1a;spring-boot、mysql、mybatis-plus、druid连接池。 与【023】相比&#xff0c;【024…

java企业员工考勤请假工资人事管理系统springboot+vue

springboot是spring家族中的一个全新框架&#xff0c;用来简化spring程序的创建和开发过程。在以往我们通过SpringMVCSpringMybatis框架进行开发的时候&#xff0c;我们需要配置web.xml&#xff0c;spring配置&#xff0c;mybatis配置&#xff0c;然后整合在一起&#xff0c;而…

学生请假管理系统--UML画图

参与者 学生、班主任、学工处、学校领导、教务管理系统 功能 学生 销假请假/续假查看&#xff08;请假/销假/续假&#xff09;进度查询个人请假记录 班主任 查询班级请假记录审批学生请假/销假/续假信息 学工处 审批学生请假/销假/续假信息设置规则查询数据 学校领导 …

员工管理系统

一.项目介绍&#xff1a; 该项目主要是实现了管理员和普通用户登录功能&#xff0c;登录后会出现相应的功能菜单。管理员的功能菜单包括查询、修改、添加用户、删除用户、查询历史记录、退出功能&#xff0c;其中查询分为按人名查找和查找所有&#xff0c;修改可以按照…