Windows下Hadoop的环境变量的配置以及Hadoop的配置文件修改

article/2025/10/8 21:38:42

Hadoop的环境变量的配置

1.进入系统变量,右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME
在这里插入图片描述2.在系统变量path 里面 添加 %HADOOP_HOME%\bin;
3.测试:打开命令行cmd ,在任意路径下输入hadoop命令,返回一下结果即配置正确
在这里插入图片描述

修改hadoop配置文件

1.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”下的core-site.xml文件

<configuration><property><name>hadoop.tmp.dir</name><value>/D:/Program Files/hadoop-2.7.2/workplace/tmp</value></property><property><name>dfs.name.dir</name><value>/D:/Program Files/hadoop-2.7.2/workplace/name</value></property><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>
</configuration>

2.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property>
</configuration>

3.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的hdfs-site.xml文件请自行创建data目录,在这里我是在HADOOP_HOME目录下创建了workplace/data目录;

<configuration><!-- 参数设置为1 --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.data.dir</name><value>/D:/Program Files/hadoop-2.7.2/workplace/data</value></property>
</configuration>

4.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的yarn-site.xml文件

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

5.编辑“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存;

@rem set JAVA_HOME=%JAVA_HOME%set JAVA_HOME=D:\java\jdk --jdk安装路径

http://chatgpt.dhexx.cn/article/a6kUn6T8.shtml

相关文章

Hadoop应用配置

文章目录 hadoop目录配置hadoop角色hadoop运行和使用hadoop 观察FsImage和EditLog分发配置 hadoop目录 bin &#xff1a;功能模块sbin&#xff1a;shell脚本etc&#xff1a;配置lib&#xff1a;使用库 bin和sbin目录都要加入到环境变量中。 vi /etc/profile增加&#xff1a; …

配置Hadoop_1

配置Hadoop_1 1. 配置jdk2. 配置Hadoop3.完全分布式运行环境&#xff08;配置集群&#xff09;3.1 编写集群分发脚本xsync3.2 rsync远程同步工具3.3 xsync集群分发脚本3.4 SSH无密登录配置3.5集群配置3.6 配置历史服务器3.7 配置日志的聚集 3.8 两个常用脚本asd 1. 配置jdk 上…

hadoop集群配置(保姆级教学)

目录 1 .集群配置 &#xff08;1&#xff09;集群部署规划 (2&#xff09;配置文件说明 (3&#xff09;配置集群 &#xff08;1&#xff09;核心配置文件 &#xff08;2&#xff09;HDFS配置文件 &#xff08;3&#xff09;YARN配置文件 &#xff08;4&#xff09;MapRedu…

Hadoop集群配置

一&#xff1a;集群部署规划 注意&#xff1a; ➢ NameNode和SecondaryNameNode不要安装在同一台服务器 ➢ ResourceManager也很消耗内存&#xff0c;不要和NameNode、SecondaryNameNode配置在同一台机器上。 二&#xff1a;配置文件说明 Hadoop配置文件分两类&#xff1a…

Hadoop配置环境变量(详解版)

1.运行hadoop的程序报错java.io.IOException: Could not locate executable nullinwinutils.exe in the Hadoop binaries. **这是因为windows环境变量不兼容的原因解决办法&#xff1a; 首先需要下载 hadoop的tar.gz包&#xff0c;前提是JDK必须配置成功&#xff0c;存放路径不…

hadoop配置文件

安装前的工作&#xff1a; jdk集群中节计算机互联互通关闭防火墙节点间的计算机免密码登录&#xff08;authorized_keys认证文件root用户存放在/root/.ssh/&#xff09; (User用户 /home/user/.ssh/) A计算机免密码登录B计算机&#xff0c;将A计算机的公钥存放在B计算机的认证…

4.Hadoop环境配置

4. 集群配置 4.1 集群部署规划 安装前先做好节点规划&#xff0c;完全分布式目前规划1个主节点&#xff08;Master&#xff09;和2个从节点&#xff08;Slave&#xff09;一共三个节点。 部署规划要求&#xff1a; NameNode和SecondaryNameNode不要安装在同一台服务器。Reso…

hadoop环境配置

hadoop环境配置 一、VmWare与linux版本VmWare版本&#xff1a;linux版本 二、使用VmWare来安装linux软件三、三台linux服务器环境准备1、三台机器IP设置2、三台机器关闭防火墙3、三台机器关闭selinux4、三台机器更改主机名5、三台机器更改主机名与IP地址映射6、三台机器同步时间…

hadoop详细安装及配置

一、下载 http://hadoop.apache.org/ hadoop官网 二、解压 注&#xff1a;使用管理员权限解压 三、配置环境变量 添加HADOOP_HOME配置&#xff1a;自己安装hadoop路径&#xff0c;我的是D:\hadoop-3.0.3 在Path中添加如下&#xff1a;自己安装hadoop路径/bin&#xff0c;…

Hadoop集群的配置

一.、创建虚拟机 (10条消息) CentOS 7 虚拟机的搭建_仄言2997的博客-CSDN博客 1. 创建虚拟机 2. 安装 CentOS 二、虚拟机网络设置 (10条消息) 虚拟机网络配置_仄言2997的博客-CSDN博客 三、 安装JDK (10条消息) 虚拟机安装jdk&#xff0c;运行java文件_仄言2997的博客-CSDN博客…

Hadoop集群环境配置搭建

一、简单介绍 Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene&#xff0c;这个搜索引擎在2001年成为Apache基金会的一个子项目&#xff0c;也是 ElasticSearch等重要搜索引擎的底层基础。 项目官方&#xff1a;https://hadoop.apache.org/ 二、Linux环…

超详解Hadoop集群环境配置,步步附有截图,一篇讲解清楚

写在最前&#xff0c;在配置Hadoop之前&#xff0c;要确定已经准备好了Hadoop的准备环境&#xff0c;并且已经在机器上安装完了Hadoop&#xff0c;以及编写了一些必要的集群脚本&#xff0c;具体操作详情见这两篇文章 Hadoop安装及集群脚本编写 Hadoop集群准备环境搭建 一、Ha…

大数据开发之Hadoop学习3--Hadoop运行模式

Hadoop运行模式 目录 Hadoop运行模式 4.1 本地运行模式&#xff08;官方wordcount&#xff09; 4.2 完全分布式运行模式 4.2.1 虚拟机准备 4.2.2 编写集群分发脚本xsync 4.2.3 SSH无密登录配置 4.2.4 集群配置 4.2.5 群起集群 4.2.6 集群启动/停止方式总结 4.2.7 配置…

Hadoop完全分布式集群——Hadoop 配置

前面已完成VMware虚拟机安装与配置&#xff08;参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客&#xff09;&#xff0c;下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作&#xff1a; …

简易员工信息管理系统

这是一个虽然简单但很有代表性和借鉴性的管理系统。没有使用现有框架SSH等&#xff0c;使用自有JavaBeanJSPServlet技术。 该系统的源码经过细心打磨&#xff0c;可以作为去Spring框架的简单Web系统开发模板使用&#xff0c;从设计模式、函数式编程、Lambda表达式、业务分层、页…

基于SSH学生请假管理系统

【A-021】基于SSH学生请假管理系统 开发环境&#xff1a; Eclipse/MyEclipse、Tomcat8、Jdk1.8 数据库&#xff1a; MySQL &#xff08;1&#xff09;管理员模块 定义一个最高级管理员&#xff0c;可以对整个系统进行查询修改等操作&#xff0c;浏览修改其他管理员的相关信息…

简单的员工信息管理系统

需求&#xff1a; 做一个简易命令行版本的员工信息管理系统 现有员工&#xff1a;张三&#xff0c;年龄23&#xff0c;工号9527&#xff1b;李四&#xff0c;年龄32&#xff0c;工号&#xff0c;007&#xff1b; 王五&#xff0c;年龄22&#xff0c;工号&a…

员工考勤系统

需求&#xff1a; 一、用户管理 1、用户列表 列表字段&#xff1a;姓名、登录名、性别、手机号、薪资、岗位、角色 列表按钮&#xff1a;编辑、启用、停用、重置密码 搜索条件&#xff1a;用户名、状态&#xff08;启用停用&#xff09; 顶部按钮&#xff1a;新增用户 导入、导…

企业如何利用OA系统轻松管理员工请休假

企业的员工想请个假&#xff0c;为什么人事和员工都在喊难&#xff1f; 员工请假麻烦&#xff1a; 不知道自己还有多少年假没有休&#xff0c;每次都要去人事那里查&#xff0c;有事请假要找领导报备交接工作&#xff0c;填完单子还要找领导签字&#xff0c;如果哪天请假领导出…

JavaEE技术的员工请假管理系统的设计与实现

摘 要 近年来&#xff0c;随着网络产业的飞速发展&#xff0c;人们的日常生活和工作方式也随之发生变化。许多公司正在把常规的工作方式与因特网相融合&#xff0c;借助因特网的力量来提升管理者的工作能力。当前很多员工请假管理系统工作都有很多问题&#xff0c;所以针对员…