史上最详细的hadoop安装教程

article/2025/10/18 11:58:17

一、引言


首先说明一下,本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样,那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。
本机的配置环境如下:
Hadoop(3.1.1)
Ubuntu Linux(64位系统)

  

二、安装ssh服务


ubuntu中默认是没有安装ssh server的,只有 ssh client,可以使用如下命令安装:
sudo apt-get install ssh openssh-server

 默认root用户是无法通过ssh连接到ubuntu的,修改配置文件

vim /etc/ssh/sshd_config   

把 PermitRootLogin yes  按照这个配置


三、安装Hadoop


1.下载Hadoop安装包
可以到如下网址下载:http://apache.stu.edu.tw/hadoop/common/hadoop-3.1.1/

2.解压

把压缩包传到  /usr/local/目录中
使用如下命令解压缩Hadoop安装包:
tar -zxvf hadoop-3.1.1.tar.gz
解压完成之后出现Hadoop-3.1.1的文件下如下:

3.配置Hadoop中相应的文件
我使用的是Hadoop的伪分布式,因此需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于hadoop3.1.1/etc/hadoop下面,

具体需要的配置如下:
(1)core-site.xml 配置如下:  目录文件不需要你自己去创建会自动生成。

<configuration><property><name>hadoop.tmp.dir</name><value>file:/home/root/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

(2)mapred-site.xml.template配置如下:

    把mapred-site.xml.template  复制一份  cp mapred-site.xml.template mapred-site.xml,然后配置

mapred-site.xml这个文件内容

<configuration>
<property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>

(3)hdfs-site.xml配置如下:

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/root/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/root/hadoop/tmp/dfs/data</value></property>
</configuration>

(4)hadoop-env.sh配置如下:

查看你的  jdk安装目录

echo $JAVA_HOME

export JAVA_HOME="/usr/local/jdk8"

四、运行Hadoop
1.首先你需要初始化HDFS系统
在hadop3.1.1目录下使用如下命令:

bin/hdfs namenode -format



成功之后截图如下:

表示已经初始化完成。
2.开启NameNode和DataNode守护进程
在hadop3.1.1目录下使用如下命令:

sbin/start-dfs.sh


成功之后截图如下:

3.查看进程信息
在hadop3.1.1目录下使用如下命令:

jps


成功之后截图如下:

4.查看Web UI
在浏览器中输入http://localhost:50070,即可查看相关信息。但是有些同学可能出现访问不了50070端口的问题。你可以在终端使用

netstat -ntlp

查看一下服务器启动的端口。

以后关机在启动hadoop只需要执行sbin/start-all.sh就可以启动hadoop了

sbin/start-all.sh

然后一个个尝试,我最终找到的HDFS nameNode 的登陆端口是9870
成功之后的截图如下:


http://chatgpt.dhexx.cn/article/MFcUx3yq.shtml

相关文章

hadoop安装(超详细)

本文用到的软件 设置固定IP &#xff08;1&#xff09; &#xff08;2&#xff09;修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33” #修改&#xff1a; ONBOOTyes NM_CONTROLLEDyes BOOTPROTOstatic \#添加以下内容 IPADDR192.168.128.130(根据自身情况) NE…

Charles安卓8手机抓包

目的 通过PC端的Charles&#xff0c;对安卓系统8的手机APP进行抓包。 先说明&#xff0c;只能对Android10以下进行抓包&#xff0c;高版本的不行。 步骤 1、PC端安装Charles并破解 可以去Charles官网下载应用&#xff0c;下载好之后直接安装到本地。 下载链接&#xff1a;h…

fiddler安卓模拟器与ios手机抓包

一.安卓模拟器(雷电模拟器)抓包 1.1fiddler基本配置 1.2导出Fiddler证书 Tools -> Options -> HTTPS -> Actions -> Export Root Certificate to Desktop 在桌面上看到导出的FiddlerRoot.cer证书文件 1.3下载和安装openssl openssl下载地址 git终端输入 open…

charles抓包工具使用及手机抓包教程

目录 1.前言 2.操作环境条件 3.操作步骤 3.1.电脑配置 3.2.手机配置 4.抓包实战 5.网络代理 6.参考文章 1.前言 不知道怎么抓包手机&#xff08;移动端&#xff09; 如何抓取手机HTTPS的包 2.操作环境条件 电脑系统&#xff1a;Mac OS 手机系统&#xff1a;Android …

使用fiddler对android手机抓包

前言 以往在PC或Linux服务后台定位问题的时候&#xff0c;wireshark等抓包工具是必不可少要具备的&#xff0c;最近搞android播放器开发&#xff0c;为了定位问题方便&#xff0c;也装了fiddler等抓包工具。 以下是在win上使用fiddler抓包工具的详细教程。 一、下载fiddler抓包…

Charles4.6.2版本手机抓包设置,抓包失败的解决方法详解

一、Charles手机抓包设置 第一步&#xff1a;设置Charles为允许状态&#xff0c;并设置好接入的接口 在Charles的菜单栏选择“Proxy”->“Proxy Settings”&#xff0c;填入代理端口8888&#xff08;⚠️这个端口不一定填写8888&#xff0c;也可以写别的端口&#xff09;&…

wireshark手机抓包分析(一)

一、先给你的电脑开个共享WiFi win10怎么设置wifi热点 这里注意一定要选择2.4hz&#xff0c;否则根本搜不到电脑开的wifi。 然后就连wifi就行了。 这里需要注意的点就是&#xff0c;你的wifi开启了可能连不上&#xff0c;可以试试&#xff1a; 网络共享中心---->以太网—&…

charles手机抓包配置

Charles手机抓包 静静地就好关注 2020.07.26 22:12:27字数 393阅读 873 一、Charles设置 1、让电脑和手机处于同一个局域网下&#xff0c;即电脑和手机连接同一个WiFi【电脑开WiFi给手机连接也可以】&#xff1b; 2、打开Charles&#xff0c;点击菜单栏中Proxy –> Prox…

postman手机抓包(http协议)——比fiddler简单直观

针对http协议的浏览器网页抓包。见 之前写过一篇用fiddler抓包。今天来说一个更好的&#xff0c;postman抓包。 以下是针对http协议的手机抓包&#xff0c;https开头的用如下方式是不能的&#xff0c;http是超文本传输协议&#xff0c;信息是明文传输&#xff0c;https则是具…

使用whistle进行手机抓包并调试

whistle是一个基于Node实现的跨平台web调试代理工具&#xff0c;类似Windows上的Fiddler&#xff0c;Mac上的Charles&#xff0c;主要用于查看、修改HTTP、HTTPS、Websocket的请求、响应&#xff0c;也可以作为HTTP代理服务器使用&#xff0c;不同于Fiddler通过断点修改请求响应…

手机端抓包分析

1前提&#xff1a; wireshark是针对网络端口进行抓包的一款工具&#xff0c;由于环境限制&#xff0c;一些通过wifi热点进行抓包的方式并不适用&#xff0c;所以涉及到对手机流量进行分析的时候&#xff0c;可以通过在手机上进行tcpdump&#xff0c;将抓取的pcap包通过wireshar…

fiddler手机抓包

1&#xff1a;打开fiddler&#xff0c;点击菜单栏的Tools->Options,进行设置。设置时&#xff0c;保证端口号不会被占用&#xff1b;设置完成&#xff0c;点击【ok】。 2&#xff1a;点击HTTPS&#xff0c;开始设置&#xff0c;必须勾选所选框中内容&#xff0c;设置完成点击…

手机抓包图文教程

手机抓包图文教程 给大家介绍下如何使用Fiddler进行手机抓包。 运行环境为Windows 10&#xff0c;使用手机为iPhone 7&#xff0c;iOS11系统。 0. 准备工作 首先需要确保手机及电脑在同一个局域网内&#xff0c;如连接了同一个无线路由器。 Fiddler配置 运行Fiddler后打开配置…

charles手机抓包教程

charles手机抓包教程 一、设置系统代理 二、电脑端安装证书 安装的时候就注意证书放在“受信任的证书委发机构”就行&#xff0c;其他的都是点下一步 三、设置代理 四、设置手机上的代理 让手机和电脑保持连接同一个wifi 先查看电脑端的地址 再设置手机代理&#xff08…

台式机fiddler手机抓包

台式机fiddler手机抓包 因为兴趣,最近研究了一下,如何对手机抓包,自己做个笔记,方便以后查看,现在简单说一下操作流程及操作中遇到的问题。 一、设备 1.无线USB网卡,电脑、手机。 因为手机用fiddler抓包的时候,需要电脑和手机要在同一个局域网,我自己的电脑是台式机,…

【fiddler】用fiddler实现iPhone手机抓包

一、fiddler的简介 fiddler是位于客户端和服务器端之间的代理&#xff0c;也是目前最常用的抓包工具之一 。 它能够记录客户端和服务器之间的所有 请求&#xff0c;可以针对特定的请求&#xff0c;分析请求数据、设置断点、调试web应用、修改请求的数据&#xff0c;甚至可以修…

Fiddler实现手机抓包——小白入门

手机用fiddler抓包 电脑最好是笔记本&#xff0c;这样能和手机保持统一局域网内&#xff1b;其他不多说&#xff0c;直接说步骤了。 一.对PC&#xff08;笔记本&#xff09;参数进行配置 1. 配置fiddler允许监听到https&#xff08;fiddler默认只抓取http格式的&#xff09; …

Burp-手机抓包

1.手机和电脑需要在同一网络下&#xff0c;可以连同一个wifi 或者 电脑开热点 2.配置代理。 在命令行中输入ipconfig。 在burp中设置代理 配置手机代理&#xff0c;选择手动代理&#xff0c;填写主机名&#xff08;ip&#xff09;和端口。 完成以上步骤&#xff0c;就可以抓到…

使用Fiddler进行手机抓包

配置fiddler&#xff0c;并进行手机抓包 一.由于fiddler只默认抓取HTTP的请求&#xff0c;若想抓取HTTPS的请求&#xff0c;则需要设置HTTPS的各项值&#xff1a; 第一步&#xff1a;在fiddler菜单项选择Tools -> Options -> HTTPS 第二步&#xff1a;勾选【Decrypt H…

安卓手机抓包方法归纳总结

安卓手机抓包方法归纳总结 最近需要对安卓应用发出的网络数据进行抓包分析&#xff0c;除了常见的HTTP还包括MQTT协议。 本文总结归纳了。手机端抓包的各种方法和思路 0x01 wireshark方案 在PC端抓过包的人一定不会对Wireshark感到陌生&#xff0c;该软件可以直接抓取流经网…