大数据开发之windows安装hadoop教程

article/2025/10/7 12:43:23

第一步 安装JDK

第二步 安装Hadoop

  1. 下载hadoop地址:http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 2. 下载hadoop-winutils https://github.com/cdarlint/winutils
    在这里插入图片描述

将红色方框里面的文件复制到hadoop-3.2.2\bin目录中,hadoop主要基于linux编写,这个winutil.exe主要用于模拟linux下的目录环境。因此hadoop放在windows下运行的时候,需要这个辅助程序才能运行。

第三步 配置hadoop

  1. 配置环境变量:
    新增系统变量 HADOOP_HONE
    在这里插入图片描述
    编辑系统变量中的Path
    在这里插入图片描述
  2. 进入hadoop安装文件夹下的etc/hadoop文件夹,修改以下文件内容:

(1)core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>
</configuration>

(2)hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><!-- 这个参数设置为1,因为是单机版hadoop --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><!-- 需要先创建此目录 --><value>file:/G:/hadoop/data/dfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><!-- 需要先创建此目录 --><value>file:/G:/hadoop/data/dfs/datanode</value></property><property><name>dfs.http.address</name><value>0.0.0.0:50070</value></property><property><name>dfs.permissions</name><!-- 以便在网页中可以创建、上传文件 --><value>false</value></property>
</configuration>

(3)mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

(4)yarn-site.xml

<?xml version="1.0"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
-->
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

第四步:进入cmd控制台输入:hdfs namenode -format

在这里插入图片描述

第五步:控制台进入sbin文件夹,输入:start-all.cmd

出现如下四个界面说明启动成功
在这里插入图片描述

第六步:浏览器输入:http://localhost:8088

在这里插入图片描述

第七步:浏览器输入:http:localhost:50070

在这里插入图片描述

至此,hadoop安装成功!!!

第七步:停止hadoop, 控制台进入sbin文件夹,输入:stop-all.cmd


http://chatgpt.dhexx.cn/article/Jpsf49Pl.shtml

相关文章

安装Apache Hadoop2.7.1教程

教程环境 hadoop2.7.1 Ubutun16.06 JDK1.8 详细下载教程本教程暂不提供添加用户 创建Hadoop用户&#xff08;必不可少的&#xff0c;否则后面会因为权限问题导致无法搭建集群&#xff09; 添加Hadoop用户 sudo useradd -m hadoop -s /bin/bash设置新用户密码 sudo passwd …

Hadoop 安装教程

原创&#xff1a;http://www.powerxing.com/install-hadoop/ Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 2014-08-09 (updated: 2017-03-02) 261103 346 当开始着手实践 Hadoop 时&#xff0c;安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单&#…

Hadoop安装教程 Mac版

Hadoop安装教程 Mac版 一、JDK环境安装 1. 下载JDK1.8 Oracle官网下载JDK1.8版本 按照系统提示安装 2. 配置JDK环境变量 在terminal中输入 vi ~/.bash_profile &#xff0c;按 i 进入编辑模式&#xff1a; JAVA_HOME/Library/Java/JavaVirtualMachines/jdk1.8.0_281.jdk/C…

CentOS 6虚拟机Hadoop安装教程

前言 本人初学hadoop&#xff0c;在安装配置环境时发现网上大部分博客的教程都不太完善&#xff0c;所以我结合了这些博客内容和老师的讲解写了下面这一份教程&#xff0c;这些操作都是本人经过尝试确认过没有问题的操作&#xff08;如果有问题的话希望大家能够指出 &#xff…

Hadoop安装教程_单机/伪分布式配置_Hadoop 2.7.7(2.7.7)/CentOS Linux release 7.4.1708

作为大数据研发工程师基础技能&#xff0c;当开始着手 Hadoop课程教学时&#xff0c;安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单&#xff0c;书上有写到&#xff0c;官方网站也有 Hadoop 安装配置教程&#xff0c;但由于对 Linux 环境不熟悉&#xff0c;书上跟…

超详细Hadoop安装教程(单机版、伪分布式)

超详细Hadoop安装教程&#xff08;单机版、伪分布式&#xff09; 1.Hadoop分布式系统基础架构介绍1.1.Hadoop核心 2.Hadoop安装教程2.1.环境准备2.2.配置用户ssh 免密登录2.3.JAVA环境的安装和配置2.4.Hadoop安装2.5.单机版Hadoop配置2.6.伪分布式Hadoop配置2.7Hadoop初始化 1.…

Hadoop安装教程_单机/伪分布式配置

目录 测试环境创建hadoop用户更新apt安装SSH、配置SSH无密码登陆配置Java环境安装 Hadoop3.1.3Hadoop部署方式介绍Hadoop单机配置(非分布式)Hadoop伪分布式配置运行Hadoop伪分布式实例 测试环境 Linux系统版本&#xff1a;ubuntukylin-20.04-pro Hadoop版本&#xff1a;hadoop…

Hadoop安装教程方式

本次教程首先介绍的是根据个人经验来安装hadoop环境&#xff0c;其次是林子雨老师Hadoop安装教程方式&#xff0c;大家可以自行选择其中一种方式来进行安装。另外&#xff0c;还附送根据个人经验进行虚拟机磁盘扩容&#xff0c;可以说是痛苦经历吧&#xff01; 个人安装hadoop…

Hadoop安装教程

1:先解决桌面向虚拟机黏贴问题。(在windos环境中下载好hadoop安装包) sudo apt-get autoremove open-vm-tools sudo apt-get update sudo apt-get install open-vm-tools-desktop reboot 2:下载openssh-server sudo apt-get install openssh-server 3:登陆ssh ssh local…

Hadoop安装教程(单机/伪分布式配置)

Hadoop安装文件&#xff0c;可以到Hadoop官网下载&#xff0c;也可以点击这里从百度云盘下载&#xff08;提取码&#xff1a;99bg&#xff09;&#xff0c;进入该百度云盘链接后&#xff0c;找到Hadoop安装文件hadoop-2.7.1.tar.gz&#xff08;本教程也可以用于安装Hadoop 2.7.…

手机突发bug?这几种Android 手机自动化测试工具,关键时刻轻松搞定你的手机!

主要分享软件测试的学习资源&#xff0c;帮助想转行、进阶、小白成为高级测试工程师…1、Monkey是Android SDK自带的测试工具&#xff0c;在测试过程中会向系统发送伪随机的用户事件流&#xff0c;如按键输入、触摸屏输入、手势输入等等&#xff09;&#xff0c;实现对正在开发…

安卓自动化测试框架

安卓APP测试框架总结&#xff1a; 基于Instrumentation的测试框架&#xff0c;比如Espresso&#xff0c;Robotium&#xff0c;Selendroid等&#xff0c;都不能支持跨APP使用。 如自动化测试中有跨APP操作&#xff0c;我们可以结合UiAutomator实现。支持BDD&#xff08;行为驱动…

自动化测试工具-Airtest

目录 一、Airtest介绍与安装二、Airtest基于图像识别自动控制手机App流程三、Airtest基于Poco的UI组件自动化控制App流程四、Airtest实现手机群控操作 一、Airtest介绍与安装 主要介绍区别&#xff0c;以及各种详细的教程可以看这篇文章&#xff0c;和selenium、appium都是用来…

手把手教你使用手机自动化测试工具Airtest

安卓手机自动化操作框架--Airtest 项目官网&#xff1a;http://airtest.netease.com/ 前言 Airtest是网易基于信息识别出品的一个自动化操作框架&#xff0c;可以模拟人工机械操作&#xff0c;对于日常中一些机械录入手机系统的信息完全可以使用Airtest来代替&#xff0c;实现录…

APP自动化测试

大框架参考&#xff1a;appium新手入门&#xff08;第2步Android和sdk安装与配置需要百度&#xff09; 前提&#xff0c;已经安装好了JDK&#xff0c;Maven 一、安装Android SDK 1、下载地址 http://tools.android-studio.org/index.php/sdk 2、设置Android环境变量 3、安…

android 自动化测试

Android 谈谈自动化测试 Android自动化测试原来可以这么简单 几款Android 应用自动化测试工具 Android自动化测试探索&#xff08;一&#xff09;adb详细介绍 - 周希 - 博客园 移动测试基础 Android&#xff1a;自动化兼容性测试 Android 上一次编写&#xff0c;随处测试 a…

手机自动化测试

随着手机被越来越多人使用&#xff0c;移动自动化也是趋势所在。 测试的时间是至关重要的&#xff0c;尤其是移动测试&#xff0c;软件测试生命周期中的手工测试的时间已经影响到了手机抢占最佳市场先机。因此自动化是不可避免的需求。 什么是手机自动化测试? 要回答这个问题&…

App 自动化测试

一、5分钟上手自动化测试——AirtestPoco快速上手 - Airtest Project DocsAirtest Project Docshttps://airtest.doc.io.netease.com/tutorial/1_quick_start_guide/自动化测试工具-Airtest_十一姐的博客-CSDN博客_airtest工具目录一、Airtest介绍与安装二、Airtest基于图像识别…

android 自动化测试工具

Auto.js https://github.com/hyb1996/Auto.js/tree/master/app/src/main/assets/sample 布局范围分析 https://blog.csdn.net/zy0412326/article/details/105140707 免费版auto.js apk 下载 https://zhuanlan.zhihu.com/p/90065914?from_voters_pagetrue&ivk_sa10243…

Github每日精选(第65期):手机自动化测试工具maestro

Maestro 现在手机ui的测试工具已经很多了&#xff0c;为什么还要多一款Maestro 呢&#xff1f;我们来看看Maestro 的介绍。 Maestro 是为您的移动应用程序自动化 UI 测试的最简单方法。 github的地址在这里。 Maestro 建立在其前辈&#xff08;Appium、Espresso、UIAutomat…