hadoop安装流程

article/2025/10/18 10:03:40

这篇文章主要记录安装hadoop的过程,给后来者一点帮助,

  • 官网获取安装包

选一款你想要的

Apache Hadoop 

  • 下载完成后上传到服务器(我用的是finalshell)

先别急着解压

  • 准备Java包

像上面一样官网下载对应的Java包

这边我已经准备好了

jdk-8u212-linux-x64.tar

同样的 上传到服务器

  • 现在我们开始正式安装hadoop
  • 新建一个个人用户

adduser wolf   (我用的是wolf  大家可以随意设计)

su – wolf   进入到wolf用户下

  • 新建几个文件夹

将root 用户下的

Hadoop压缩包和java包解压到 wolf用户下software文件夹

cp Hadoop-3.1.3.tar.gz /home/wolf/software

cp jdk-8u181-linux-x64.tar.gz /home/wolf/software

然后依次解压到app文件夹下

好了,现在app文件夹下就有了两个文件夹

  • 接下来创建软链接

创建软链接的好处之一就是切换版本无感知,对日后的版本管理提供了很大的便利性

ll 一下

  • 接下来要更改 etc/hadoop/core-site.xml

在最后一段加上

注意要改成自己的用户名

  • 接下来要更改 etc/hadoop/hdfs-site.xml

在最后一段加上

  • 接着我们要修改主机名

执行

hostnamectl set-hostname wolf        这边一定修改 不然会报错的

  • 接着修改workers

修改成自己的用户名

改完之后要重新进入服务器 才能生效

  • 接着配置下/home/wolf/app/hadoop/etc/hadoop/ hadoop-env.sh

Vi hadoop-env.sh

这边要设置下java_home  

这个时候应该能体会到软链接的好处,下次我们更新jdk版本的时候只需要整体替换jdk包就行了,不需要再一个个修改这些路径了

  • 接着设置下免登录

分别执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

  • 最后修改环境变量

切换到root用户下

vi /etc/profile

在文件最后添加这么几行代码

export JAVA_HOME=/home/wolf/app/java

export PATH=$JAVA_HOME/bin:$PATH

保存退出

并执行 source /etc/profile   重启使环境变量生效

  • 安装hadoop
  • 格式化节点

来到 /home/wolf/app/Hadoop  路径下

执行

bin/hdfs namenode -format

当出现这句话时 就说明执行成功了

  • 启动hadoop

sbin/start-dfs.sh

这样就启动起来了

  • 最后结果

输入 jps

看到这几个结果 就算是大功告成了


http://chatgpt.dhexx.cn/article/0w3rr3wQ.shtml

相关文章

hadoop安装

hadoop安装 安装模板虚拟机 1) 设置虚拟机IP地址 2) 设置windows虚拟地址 3) 修改OS的IP地址 [roothadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTOstatic IPADDR # 自己的ip GATEWAY # 自己的网关地址 DNS1 # 自己的dns地址# 一定不要有空格!不要有…

Hadoop 安装与配置

创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户,并使用/bin/bash 作为shell 虚拟机打开成功后,打开终端Terminal,开始创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 为hadoop设置一个密码 sudo passwd hadoop 为后续操作方…

Hadoop 安装部署

官网下载软件: Ubuntu : https://releases.ubuntu.com/ jdk : https://www.oracle.com/java/technologies/downloads/ Hadoop : https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器,解压 一 1. …

Hadoop的安装与配置(非常重要)

官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNodesecondaryNameNodeDataNode 这是以主从模式来运行的,前两个在maser节点上,最后一个在slave节点上 1. 解压hadoop安装包 要学会从官方网站里找到历史镜像和release的发布版本来下载 我觉得从别人给的…

hadoop安装教程(一次填完所有的坑)

文章目录 01 引言02 hadoop 安装2.1 下载与安装2.2 hadoop配置2.3 免登陆配置2.4 配置环境变量2.5 配置域名2.6 启动 03 相关命令 3.1 yarn相关命令 3.2 hdfs相关命令 04 一次填完所有的坑05 Yarn相关配置06 文末 01 引言 最近安装hadoop-2.7.7 版本的时候遇到了很多坑&#x…

Hadoop安装部署全分布式搭建

目录 1. 完全分布式模式介绍 2. 平台软件说明 3. 守护进程布局 4. 完全分布式搭建环境准备 4.1. 总纲 4.2. 关闭防⽕墙 4.3. 静态IP和主机名配置 4.4. 配置/etc/hosts⽂件 4.5. 免密登陆认证 4.6. 时间同步 4.6.1. 同步⽹络的时间 4.6.2. ⾃定义时间服务器 4.7. 安装Jdk和Ha…

安装Hadoop集群(超详细!)

提示:安装前请准备好三台装有jdk的虚拟机 我这里名为hd01、hd02、hd03 hd01最好有hadoop和zookeeper的压缩包 文章目录 前言一、准备环境二、安装Hadoop总结 前言: 前面我写了一篇单机版的Hadoop安装,这里终于要装集群版,装集群版…

hadoop的安装过程

Hadoop安装过程 Hadoop基础环境配置 1.1 使用户获得管理员权限 1.2网络环境配置 1.3免密登录 1.4JDK安装Hadoop安装Hadoop配置 3.1在$HADOOP_HOME/etc/hadoop/目录下需要配置以下文件 3.2格式化并启动hadoop 1.HADOOP基础环境配置 1.1 使用户获得管理员权限 1)切…

hadoop保姆级安装教程

hadoop保姆级安装教程 文章目录 一、准备步骤:虚拟机安装二、配置网络三、免密登录四、安装hadoop 实现分布式集群安装,不再从入门到放弃!! 这是一篇超详细的Hadoop安装教程,历时两个星期,重装了三次&…

Hadoop安装及使用

1.简介: (1)Hadoop项目为可靠、可扩展的分布式计算开发开源软件。 (2)Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据 集。它旨在从单个服务器扩展到数千台机器&#xf…

史上最详细的hadoop安装教程(含坑点)

0.前言 最近因为需要所以要安装hadoop,但是网上怎么说呢,就是很混乱,各种资料,各种安装方法,总体来说都不是很有效果,经过了3天的挣扎,收集资料,才完成了部署。 1.从官网上获得对应…

史上最详细的hadoop安装教程

一、引言 首先说明一下,本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样,那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。 本机的配置环境如下: Hadoop(3.1.1) Ubu…

hadoop安装(超详细)

本文用到的软件 设置固定IP (1) (2)修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33” #修改: ONBOOTyes NM_CONTROLLEDyes BOOTPROTOstatic \#添加以下内容 IPADDR192.168.128.130(根据自身情况) NE…

Charles安卓8手机抓包

目的 通过PC端的Charles,对安卓系统8的手机APP进行抓包。 先说明,只能对Android10以下进行抓包,高版本的不行。 步骤 1、PC端安装Charles并破解 可以去Charles官网下载应用,下载好之后直接安装到本地。 下载链接:h…

fiddler安卓模拟器与ios手机抓包

一.安卓模拟器(雷电模拟器)抓包 1.1fiddler基本配置 1.2导出Fiddler证书 Tools -> Options -> HTTPS -> Actions -> Export Root Certificate to Desktop 在桌面上看到导出的FiddlerRoot.cer证书文件 1.3下载和安装openssl openssl下载地址 git终端输入 open…

charles抓包工具使用及手机抓包教程

目录 1.前言 2.操作环境条件 3.操作步骤 3.1.电脑配置 3.2.手机配置 4.抓包实战 5.网络代理 6.参考文章 1.前言 不知道怎么抓包手机(移动端) 如何抓取手机HTTPS的包 2.操作环境条件 电脑系统:Mac OS 手机系统:Android …

使用fiddler对android手机抓包

前言 以往在PC或Linux服务后台定位问题的时候,wireshark等抓包工具是必不可少要具备的,最近搞android播放器开发,为了定位问题方便,也装了fiddler等抓包工具。 以下是在win上使用fiddler抓包工具的详细教程。 一、下载fiddler抓包…

Charles4.6.2版本手机抓包设置,抓包失败的解决方法详解

一、Charles手机抓包设置 第一步:设置Charles为允许状态,并设置好接入的接口 在Charles的菜单栏选择“Proxy”->“Proxy Settings”,填入代理端口8888(⚠️这个端口不一定填写8888,也可以写别的端口)&…

wireshark手机抓包分析(一)

一、先给你的电脑开个共享WiFi win10怎么设置wifi热点 这里注意一定要选择2.4hz,否则根本搜不到电脑开的wifi。 然后就连wifi就行了。 这里需要注意的点就是,你的wifi开启了可能连不上,可以试试: 网络共享中心---->以太网—&…

charles手机抓包配置

Charles手机抓包 静静地就好关注 2020.07.26 22:12:27字数 393阅读 873 一、Charles设置 1、让电脑和手机处于同一个局域网下,即电脑和手机连接同一个WiFi【电脑开WiFi给手机连接也可以】; 2、打开Charles,点击菜单栏中Proxy –> Prox…