hadoop安装(window10)

article/2025/10/17 14:21:32

一、下载和winutils

1.下载:http://archive.apache.org/dist/hadoop/core/

官网下载:http://hadoop.apache.org/releases.html   (提供最新的几个版本)

 https://github.com/steveloughran/winutils(windows安装需要)

如果出现“Bandwidth limit exceeded”-限制下载,可以用迅雷下载,本人直接用迅雷下载;

或者参考:https://blog.csdn.net/docsz/article/details/118520724

二、解压

将tar.gz包解压至D盘根目录:Note:必须用管理员权限解压

 三、配置环境变量:

 新建系统变量:

变量名:HADOOP_HOME

变量值:你的hadoop位置  E:\hadoop\hadoop-2.8.0\hadoop-2.8.0

编辑Path系统路径   %HADOOP_HOME%\bin

 四.编辑hadoop的文件

 java 路径不能有空格,采用以下配置方式或者没有空格的目录set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_172;

打开 \etc\hadoop\hadoop-enc.cmd文件,修改JAVA_HOME为你自己的jdk路径 。注意你的JDK安装在Program Files目录下,

名称用名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。

更改为:

 五、配置

5.1、配core-site.xml

 修改D:/hadoop-3.0.0/etc/hadoop/

 

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>
</configuration>

5.2、修改D:/hadoop-3.0.0/etc/hadoop/ mapred-site.xml配置(是mapred-site.xml.template,去掉template):

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5.3、在:/hadoop-3.0.0目录下创建data目录,作为数据存储路径:

5.4、修改D:/hadoop-3.0.0/etc/hadoop/ hdfs-site.xml配置:

<configuration><!-- 这个参数设置为1,因为是单机版hadoop --><property><name>dfs.replication</name><value>1</value></property><property> <name>dfs.permissions</name> <value>false</value> </property><property><name>dfs.namenode.name.dir</name><value>/D:/hadoop-3.0.0/data/namenode</value></property><property><name>fs.checkpoint.dir</name><value>/D:/hadoop-3.0.0/data/snn</value></property><property><name>fs.checkpoint.edits.dir</name><value>/D:/hadoop-3.0.0/data/snn</value></property><property><name>dfs.datanode.data.dir</name><value>/D:/hadoop-3.0.0/data/datanode</value></property>
</configuration>

注意:记得把上边地址改为自己电脑hadoop的地址;

 5.5、修改D:/hadoop-3.0.0/etc/hadoop/ yarn-site.xml配置:

<configuration>
<!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  <value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

六、bin目录替换

下载:https://github.com/steveloughran/winutils

 

安装的是3.0.0版本,所以用3.0.0中bin去替换;

将文件D:\job\hadoop\hadoop-2.7.7\bin\hadoop.dll复制到以下位置

              D:\job\hadoop\hadoop-2.7.7\sbin

              C:\Windows\System32

 检查Hadoop是否安装成功:

运行“Hadoop version”,成功如下:

 

七、启动服务

以管理员身份打开命令提示符 打开cmd,cd到安装目录下的bin,并执行命令:

hdfs namenode -format  (注意 :-前面有空格)

 

上图失败,是环境变量问题,或者配置Hadoop环境变量后重新启动;

我在自己笔记本重新安装了Hadoop2.7.1,运行如下:(同样的步骤)

 

我以为安装成功,运行jps- 命令时,只显示一个进程;我查看了启动窗口,是core-site.xml有错,UTF-8问题,打开文件才发现,是中文错误。重新配置,重新格式化,重新启动,运行成功。如下:

 访问http://localhost:50070,访问hadoop的web界面:

我另一台电脑装的hadoop3.0.0,访问50070却打不开, hadoop3需要访问://localhost:9870 

 在浏览器地址栏中输入:http://localhost:8088查看集群状态 。(或者用http://IP:8088)

------------------------------------------------------------

八、问题

1、java version “1.7.0”  
2、Hadoop version “2.7.1” 
3、Windows10

同样配置过程,但是查看运行程序,发现resourcemanager未能启动

解决方法
进入bin目录下(注意,不是sbin目录),使用notepad++打开yarn.cmd,选择 编辑–>文档格式转换–>转为Windows格式,保存,重新启动Hadoop,访问成功


————————————————
版权声明:本文为CSDN博主「凯桑嗓子都喊哑了」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_39831963/article/details/108794418

参考:

https://blog.csdn.net/Sylarjyd/article/details/91038732

https://blog.csdn.net/songhaifengshuaige/article/details/79575308

https://codechina.csdn.net/mirrors/steveloughran/winutils?utm_source=csdn_github_accelerator

https://www.cnblogs.com/lcycn/p/8595945.html 


http://chatgpt.dhexx.cn/article/JRtdEEgr.shtml

相关文章

Hadoop安装与配置

第一步&#xff1a;装虚拟机 我把hadoop安装需要的文件放在下面大家自行去取&#xff1a; 百度网盘 请输入提取码 提取码&#xff1a;8888 由于centos镜像文件太大传不上去需要的话可以加我qq:364960241 目录 第一步&#xff1a;装虚拟机 第二步&#xff1a;配置静态网络…

基于CentOS虚拟机的Hadoop安装教程(自用备忘)

该博文是用于记录Hadoop的安装过程&#xff0c;且记录其中出现的一些问题&#xff0c;防止日后遗忘 实验环境&#xff1a; 虚拟机&#xff1a;CentOS7Hadoop&#xff1a;3.3.2java&#xff1a;java 8u331下载连接&#xff1a; CentOS&#xff1a;centos-7-x86_64-dvd-2009.iso…

Hadoop安装与配置详细教程

【确保服务器集群安装和配置已经完成&#xff01;】 前言 请根据读者的自身情况&#xff0c;进行相应随机应变。 我的三台CentOS7服务器&#xff1a; 主机&#xff1a;master&#xff08;192.168.56.110&#xff09; 从机&#xff1a;slave0&#xff08;192.168.56.111&…

Hadoop安装教程 Linux版

Hadoop安装教程 Linux版 一、Linux虚拟机安装 方法一&#xff1a;使用Windows下Linux子系统&#xff08;大佬可选&#xff09; 方法二&#xff1a;使用VMware安装Linux虚拟机&#xff08;小白可选&#xff09; 方法三&#xff1a;安装双系统&#xff08;不怕麻烦的可以试试&am…

Ubuntu下的Hadoop安装

二、Hadoop安装 采用版本为hadoop-2.7.7 ①JDK的安装 2.1.1 创建文件夹 sudo mkdir /expt sudo chmod 777 /expt 这个出错我参考别的原因也改过来了&#xff0c; pkexec chmod 0440 /etc/sudoers 2.1.2 移动文件 之前已经解压过了&#xff0c;所以改一下位置就行了 2.1.3 创…

hadoop 安装与测试

1、下载安装包 登录官网hadoop.apache.org 下载安装包 版本可以根据自己的需求进行选择 本文需要下载的安装包是&#xff1a;Hadoop-3.1.3.tar.gz / jdk-14_linux-x64_bin.tar.gz 将Windows上的安装包上传到Linux上&#xff0c;方式有很多。本文是将安装包通过共享文件夹形式…

Hadoop安装目录

/root/software/hadoop-2.6.0-cdh5.15.1/etc/hadoop第一步骤 vi core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop000:8020</value> </property> <property> <name>hadoop.t…

hadoop安装常见问题

目录 SSH服务器拒绝了密码。请再试一次​ ubuntu修改登陆用户名 这样ftp成功链接ubuntu 现在的ubuntu支持直接拖拽文件传输&#xff0c;不用ftp的 yarn是什么 linux配置java环境变量 hadoop安装包下载 linux不能编辑sshd_cofig SSH的简单理解和运用 SSH服务器拒绝了密…

hadoop安装流程

这篇文章主要记录安装hadoop的过程&#xff0c;给后来者一点帮助&#xff0c; 官网获取安装包 选一款你想要的 Apache Hadoop 下载完成后上传到服务器&#xff08;我用的是finalshell&#xff09; 先别急着解压 准备Java包 像上面一样官网下载对应的Java包 这边我已经准…

hadoop安装

hadoop安装 安装模板虚拟机 1) 设置虚拟机IP地址 2) 设置windows虚拟地址 3) 修改OS的IP地址 [roothadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTOstatic IPADDR # 自己的ip GATEWAY # 自己的网关地址 DNS1 # 自己的dns地址# 一定不要有空格!不要有…

Hadoop 安装与配置

创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户&#xff0c;并使用/bin/bash 作为shell 虚拟机打开成功后&#xff0c;打开终端Terminal&#xff0c;开始创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 为hadoop设置一个密码 sudo passwd hadoop 为后续操作方…

Hadoop 安装部署

官网下载软件&#xff1a; Ubuntu : https://releases.ubuntu.com/ jdk &#xff1a; https://www.oracle.com/java/technologies/downloads/ Hadoop &#xff1a; https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器&#xff0c;解压 一 1. …

Hadoop的安装与配置(非常重要)

官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNodesecondaryNameNodeDataNode 这是以主从模式来运行的&#xff0c;前两个在maser节点上&#xff0c;最后一个在slave节点上 1. 解压hadoop安装包 要学会从官方网站里找到历史镜像和release的发布版本来下载 我觉得从别人给的…

hadoop安装教程(一次填完所有的坑)

文章目录 01 引言02 hadoop 安装2.1 下载与安装2.2 hadoop配置2.3 免登陆配置2.4 配置环境变量2.5 配置域名2.6 启动 03 相关命令 3.1 yarn相关命令 3.2 hdfs相关命令 04 一次填完所有的坑05 Yarn相关配置06 文末 01 引言 最近安装hadoop-2.7.7 版本的时候遇到了很多坑&#x…

Hadoop安装部署全分布式搭建

目录 1. 完全分布式模式介绍 2. 平台软件说明 3. 守护进程布局 4. 完全分布式搭建环境准备 4.1. 总纲 4.2. 关闭防⽕墙 4.3. 静态IP和主机名配置 4.4. 配置/etc/hosts⽂件 4.5. 免密登陆认证 4.6. 时间同步 4.6.1. 同步⽹络的时间 4.6.2. ⾃定义时间服务器 4.7. 安装Jdk和Ha…

安装Hadoop集群(超详细!)

提示&#xff1a;安装前请准备好三台装有jdk的虚拟机 我这里名为hd01、hd02、hd03 hd01最好有hadoop和zookeeper的压缩包 文章目录 前言一、准备环境二、安装Hadoop总结 前言&#xff1a; 前面我写了一篇单机版的Hadoop安装&#xff0c;这里终于要装集群版&#xff0c;装集群版…

hadoop的安装过程

Hadoop安装过程 Hadoop基础环境配置 1.1 使用户获得管理员权限 1.2网络环境配置 1.3免密登录 1.4JDK安装Hadoop安装Hadoop配置 3.1在$HADOOP_HOME/etc/hadoop/目录下需要配置以下文件 3.2格式化并启动hadoop 1.HADOOP基础环境配置 1.1 使用户获得管理员权限 1&#xff09;切…

hadoop保姆级安装教程

hadoop保姆级安装教程 文章目录 一、准备步骤&#xff1a;虚拟机安装二、配置网络三、免密登录四、安装hadoop 实现分布式集群安装&#xff0c;不再从入门到放弃&#xff01;&#xff01; 这是一篇超详细的Hadoop安装教程&#xff0c;历时两个星期&#xff0c;重装了三次&…

Hadoop安装及使用

1.简介&#xff1a; &#xff08;1&#xff09;Hadoop项目为可靠、可扩展的分布式计算开发开源软件。 &#xff08;2&#xff09;Hadoop 软件库是一个框架&#xff0c;它允许使用简单的编程模型跨计算机集群分布式处理大型数据 集。它旨在从单个服务器扩展到数千台机器&#xf…

史上最详细的hadoop安装教程(含坑点)

0.前言 最近因为需要所以要安装hadoop&#xff0c;但是网上怎么说呢&#xff0c;就是很混乱&#xff0c;各种资料&#xff0c;各种安装方法&#xff0c;总体来说都不是很有效果&#xff0c;经过了3天的挣扎&#xff0c;收集资料&#xff0c;才完成了部署。 1.从官网上获得对应…