hadoop安装

article/2025/10/18 10:01:34

hadoop安装


安装模板虚拟机

1) 设置虚拟机IP地址

虚拟机ip设置步骤①
虚拟机ip设置步骤②

2) 设置windows虚拟地址

window虚拟地址设置①
window虚拟地址设置②

3) 修改OS的IP地址

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=static
IPADDR= # 自己的ip
GATEWAY= # 自己的网关地址
DNS1= # 自己的dns地址# 一定不要有空格!不要有空格!!不要有空格!!!

修改地址

4) 修改主机名称

[root@hadoop100 ~]# vim /etc/hostnamehadoop100

5) 主机映射

[root@hadoop100 ~]# vim /etc/hosts192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108# reboot重启就可以

6) 安装epel-release软件库

[root@hadoop100 ~]# yum install -y epel-release

7) 关闭防火墙

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service# 这里强烈建议关闭防火墙

8) [修改用户权限(了解)]

[root@hadoop100 ~]# vim /etc/sudoers# 在%wheel 这行下面添加一行
%wheel ALL=(ALL) ALL
yunmoran ALL=(ALL) NOPASSWD:ALL# 关闭sudoers然后修改文件所有者权限
# chown yunmoran:yunmoran /opt/ # 自己建立的文件夹名

9) [卸载JDK(了解)]

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps# rpm===>Linux管理包的工具
# -qa===>使用询问模式查询所有套件
# grep -i===>输入参数,忽略大小写
# | xargs -n1===>命令传递参数,一次执行一个命令
# rpm -e===>删除指定的套件
# --nodeps===>不验证套件档的相互关联性

克隆虚拟机

1) 修改IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33# 仅将IPADDR修改一下就可以
IPADDR= 192.168.10.102

2) 修改主机名称

[root@hadoop100 ~]# vim /etc/hostnamehadoop102

3) 安装JDK

[yunmoran@hadoop102 my_jdk]$ tar -zxvf jdk-8u212-linux-x64.tar.gz 
# 将你选择的jdk安装包放到指定目录,这里用的是jdk8

配置环境变量

# 正常来说我们设置配置文件都是在vim /etc/profile种修改
# 但是profile中配置了
# for i in /etc/profile.d/*.sh /etc/profile.d/sh.local ; do
#     if [ -r "$i" ]; then
#         if [ "${-#*i}" != "$-" ]; then
#             . "$i"
#         else
#             . "$i" >/dev/null
#         fi
#     fi
# done
# 这个循环遍历/etc/profile.d下面后缀名为.sh的文件
# 所以在这里自己配置一个my_homepath.sh的shell文件[yunmoran@hadoop102 my_jdk]$ sudo vim /etc/profile.d/my_homepath.sh# JAVA_HOME
export JAVA_HOME=/opt/my_jdk/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

source一下

# 路径设置完成一定要source一下!一定!!一定!!!
[yunmoran@hadoop102 my_jdk]$ source /etc/profile

4) 安装hadoop

[yunmoran@hadoop102 my_hadoop]$ tar -zxvf hadoop-3.1.3.tar.gz 
# 将你选择的jdk安装包放到指定目录

配置环境变量

[yunmoran@hadoop102 my_hadoop]$ sudo vim /etc/profile.d/my_homepath.sh# HADOOP_HOME
export HADOOP_HOME=/opt/my_hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source一下

[yunmoran@hadoop102 my_hadoop]$ source /etc/profile

http://chatgpt.dhexx.cn/article/P0EFgWo5.shtml

相关文章

Hadoop 安装与配置

创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户,并使用/bin/bash 作为shell 虚拟机打开成功后,打开终端Terminal,开始创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 为hadoop设置一个密码 sudo passwd hadoop 为后续操作方…

Hadoop 安装部署

官网下载软件: Ubuntu : https://releases.ubuntu.com/ jdk : https://www.oracle.com/java/technologies/downloads/ Hadoop : https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器,解压 一 1. …

Hadoop的安装与配置(非常重要)

官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNodesecondaryNameNodeDataNode 这是以主从模式来运行的,前两个在maser节点上,最后一个在slave节点上 1. 解压hadoop安装包 要学会从官方网站里找到历史镜像和release的发布版本来下载 我觉得从别人给的…

hadoop安装教程(一次填完所有的坑)

文章目录 01 引言02 hadoop 安装2.1 下载与安装2.2 hadoop配置2.3 免登陆配置2.4 配置环境变量2.5 配置域名2.6 启动 03 相关命令 3.1 yarn相关命令 3.2 hdfs相关命令 04 一次填完所有的坑05 Yarn相关配置06 文末 01 引言 最近安装hadoop-2.7.7 版本的时候遇到了很多坑&#x…

Hadoop安装部署全分布式搭建

目录 1. 完全分布式模式介绍 2. 平台软件说明 3. 守护进程布局 4. 完全分布式搭建环境准备 4.1. 总纲 4.2. 关闭防⽕墙 4.3. 静态IP和主机名配置 4.4. 配置/etc/hosts⽂件 4.5. 免密登陆认证 4.6. 时间同步 4.6.1. 同步⽹络的时间 4.6.2. ⾃定义时间服务器 4.7. 安装Jdk和Ha…

安装Hadoop集群(超详细!)

提示:安装前请准备好三台装有jdk的虚拟机 我这里名为hd01、hd02、hd03 hd01最好有hadoop和zookeeper的压缩包 文章目录 前言一、准备环境二、安装Hadoop总结 前言: 前面我写了一篇单机版的Hadoop安装,这里终于要装集群版,装集群版…

hadoop的安装过程

Hadoop安装过程 Hadoop基础环境配置 1.1 使用户获得管理员权限 1.2网络环境配置 1.3免密登录 1.4JDK安装Hadoop安装Hadoop配置 3.1在$HADOOP_HOME/etc/hadoop/目录下需要配置以下文件 3.2格式化并启动hadoop 1.HADOOP基础环境配置 1.1 使用户获得管理员权限 1)切…

hadoop保姆级安装教程

hadoop保姆级安装教程 文章目录 一、准备步骤:虚拟机安装二、配置网络三、免密登录四、安装hadoop 实现分布式集群安装,不再从入门到放弃!! 这是一篇超详细的Hadoop安装教程,历时两个星期,重装了三次&…

Hadoop安装及使用

1.简介: (1)Hadoop项目为可靠、可扩展的分布式计算开发开源软件。 (2)Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据 集。它旨在从单个服务器扩展到数千台机器&#xf…

史上最详细的hadoop安装教程(含坑点)

0.前言 最近因为需要所以要安装hadoop,但是网上怎么说呢,就是很混乱,各种资料,各种安装方法,总体来说都不是很有效果,经过了3天的挣扎,收集资料,才完成了部署。 1.从官网上获得对应…

史上最详细的hadoop安装教程

一、引言 首先说明一下,本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样,那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。 本机的配置环境如下: Hadoop(3.1.1) Ubu…

hadoop安装(超详细)

本文用到的软件 设置固定IP (1) (2)修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33” #修改: ONBOOTyes NM_CONTROLLEDyes BOOTPROTOstatic \#添加以下内容 IPADDR192.168.128.130(根据自身情况) NE…

Charles安卓8手机抓包

目的 通过PC端的Charles,对安卓系统8的手机APP进行抓包。 先说明,只能对Android10以下进行抓包,高版本的不行。 步骤 1、PC端安装Charles并破解 可以去Charles官网下载应用,下载好之后直接安装到本地。 下载链接:h…

fiddler安卓模拟器与ios手机抓包

一.安卓模拟器(雷电模拟器)抓包 1.1fiddler基本配置 1.2导出Fiddler证书 Tools -> Options -> HTTPS -> Actions -> Export Root Certificate to Desktop 在桌面上看到导出的FiddlerRoot.cer证书文件 1.3下载和安装openssl openssl下载地址 git终端输入 open…

charles抓包工具使用及手机抓包教程

目录 1.前言 2.操作环境条件 3.操作步骤 3.1.电脑配置 3.2.手机配置 4.抓包实战 5.网络代理 6.参考文章 1.前言 不知道怎么抓包手机(移动端) 如何抓取手机HTTPS的包 2.操作环境条件 电脑系统:Mac OS 手机系统:Android …

使用fiddler对android手机抓包

前言 以往在PC或Linux服务后台定位问题的时候,wireshark等抓包工具是必不可少要具备的,最近搞android播放器开发,为了定位问题方便,也装了fiddler等抓包工具。 以下是在win上使用fiddler抓包工具的详细教程。 一、下载fiddler抓包…

Charles4.6.2版本手机抓包设置,抓包失败的解决方法详解

一、Charles手机抓包设置 第一步:设置Charles为允许状态,并设置好接入的接口 在Charles的菜单栏选择“Proxy”->“Proxy Settings”,填入代理端口8888(⚠️这个端口不一定填写8888,也可以写别的端口)&…

wireshark手机抓包分析(一)

一、先给你的电脑开个共享WiFi win10怎么设置wifi热点 这里注意一定要选择2.4hz,否则根本搜不到电脑开的wifi。 然后就连wifi就行了。 这里需要注意的点就是,你的wifi开启了可能连不上,可以试试: 网络共享中心---->以太网—&…

charles手机抓包配置

Charles手机抓包 静静地就好关注 2020.07.26 22:12:27字数 393阅读 873 一、Charles设置 1、让电脑和手机处于同一个局域网下,即电脑和手机连接同一个WiFi【电脑开WiFi给手机连接也可以】; 2、打开Charles,点击菜单栏中Proxy –> Prox…

postman手机抓包(http协议)——比fiddler简单直观

针对http协议的浏览器网页抓包。见 之前写过一篇用fiddler抓包。今天来说一个更好的,postman抓包。 以下是针对http协议的手机抓包,https开头的用如下方式是不能的,http是超文本传输协议,信息是明文传输,https则是具…