CDH 6.3.2 安装（二）

article/2025/11/6 14:50:34

目录

一、网络配置

1、静态网卡配置

2、网关配置

3、停止networkManager服务

4、重启网卡服务

二、配置静态网卡

1、修改网络配置

2、修改主机名

三、加载MySQL驱动包

1、准备文件

2、下载地址

3、加载MySQL驱动包

四、安装 cloudera-manager-daemons

五、保存当前快照，克隆虚拟机

六、安装 cloudera-manager-agent（离线）

七、主节点上安装 cloudera-manager-server

1、安装 cloudera-manager-server

2、主节点上配置 MySQL 数据库

3、所有节点启动agent

八、安装CDH服务

1、登录cdh安装界面

2、配置host主机名称

3、使用 httpd 服务安装 parcel 

4、配置parcel存储库目录

5、配置ssh登录凭据 

6、安装cloudera-manager-agent 

7、在线安装cloudera-manager-agent

8、安装 CDH-6.3.2-1.cdh6.3.2.xxx.parcel

 

一、网络配置

1、静态网卡配置

先查看原本的配置信息

cat /etc/sysconfig/network-scripts/ifcfg-ens33

防止配置失败，先备份一份

cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempalte
cat /etc/sysconfig/network-scripts/ifcfg-ens33.tempalte 
vim /etc/sysconfig/network-scripts/ifcfg-ens33

 修改BOOTPROTO选项为static，在文件末尾追加

IPADDR="192.168.232.131"
NETMASK="255.255.255.0"
GATEWAY="192.168.232.2"
DNS="192.168.232.2"
NM_CONTROLLED="no"

source /etc/sysconfig/network-scripts/ifcfg-ens33

2、网关配置

cat /etc/resolv.conf
vim /etc/resolv.conf
# Generated by NetworkManager
search localdomain
nameserver 192.168.232.2
nameserver 8.8.8.8

网关IP和DNS地址一样

 8.8.8.8 是Google提供的免费DNS服务器的IP地址

注意，配置是根据之前安装Linux时生成的以太网配置修改的，这里将IP地址改成了 192.168.232.129

3、停止networkManager服务

CentOS系统有两种网络管理工具NetworkManager和network。如果两种都配置会引起冲突，而且NetworkManager在网络断开的时候，会清理路由，如果一些自定义的路由，没有加入到NetworkManager的配置文件中，路由就被清理掉，网络连接后需要自定义添加上去

systemctl stop NetworkManager.service
systemctl disable NetworkManager.service

4、重启网卡服务

systemctl restart network
ifconfig

ping hao123.com

 

二、配置静态网卡

1、修改网络配置

（1）生成UUID

UUID是网络的唯一标识，不能和之前的主机重复

uuidgen

 

（2）修改网卡配置文件

修改UUID和IPADDR

vim /etc/sysconfig/network-scripts/ifcfg-ens33
cat /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR="192.168.0.162"
NETMASK="255.255.255.0"
GATEWAY="192.168.0.1"
DNS1="8.8.8.8"
DNS2="114.114.114.114"
NM_CONTROLLED="no"

（3）重新启动网络并查看网卡信息

systemctl restart network
ifconfig
ping hao123.com

 

2、修改主机名

需要单独打开克隆虚拟机，此时虚拟机的主机名和ip地址和原来的一样，需要修改它们

source之后也没有生效，reboot 服务器

重启之后，发现hostname没有修改成功

尝试直接修改内核参数，发现参数是从其他文件读取的，Linux不允许修改

vim /proc/sys/kernel/hostname

最终通过 sysctl 命令 修改kernel.hostname 参数 才生效 

sysctl kernel.hostname=cdh2

 

再次查看，发现 /proc/sys/kernel/hostname 已被修改为 cdh2

cat /proc/sys/kernel/hostname

重启之后，hostname还是原来的名字

经过多次反复地查阅，找到了最后 hostnamectl 命令

永久性修改host主机名命令（当前也立即生效）

hostnamectl set-hostname cdh2

修改之后，reboot 查看，终于修改成功了

 

三、加载MySQL驱动包

1、准备文件

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm

oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1

manifest.json

mysql-connector-java-5.1.47.jar

2、下载地址

https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/

https://archive.cloudera.com/cdh6/6.3.2/parcels/

3、加载MySQL驱动包

将MySQL驱动包拷贝到 /usr/share/java/ （这个是Cloudera配置约定的）

cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

 

四、安装 cloudera-manager-daemons

（1）创建 /opt/cloudera-manager 目录，用于存放 cdh的安装文件

mkdir /opt/cloudera-manager

 （2）安装 daemons（请务必先安装daemons，这可是一个大坑切记切记.....）

  如果安装不成功，可能是Java版本不合适或者Java环境变量没配成功

  推荐官方版本：oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

 

（3）安装完之后，会在 /opt 下生成目录cloudera目录

 

五、保存当前快照，克隆虚拟机

至此，可以重新克隆虚拟机了，克隆完之后的节点

回顾一下，在克隆机器之前，都做了哪些事情

  1. Java的安装和配置
  2. MySQL的安装和配置
  3. cloudera-manager-daemons的安装

 

六、安装 cloudera-manager-agent（离线）

（1）如果直接使用 rpm -ivh 命令安装agent，会出现报错：Linux缺少依赖

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

（2）如果直接安装不成功，则使用 --nodeps --force 命令安装

    --nodeps：安装时不检查依赖关系                 --force：强制安装

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

（3）配置agent的server节点

  修改 /etc/cloudera-scm-agent/config.ini 文件，将server_host=localhost 改成server_host=主机名（当前机器的hostname）

cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template
vim /etc/cloudera-scm-agent/config.ini
head -n 20 /etc/cloudera-scm-agent/config.ini

 

执行命令： （JAVA_HOME=/usr/java/jdk1.8为Java的环境变量配置，根据自己的安装目录配置）

sudo JAVA_HOME=/usr/java/jdk1.8 /opt/cloudera/cm-agent/bin/certmanager setup --configure-services

如果使用 Oracle数据库，修改配置文件/etc/default/cloudera-scm-server 需要将 -Xmx2G 修改成 -Xmx4G

cp /etc/default/cloudera-scm-server /etc/default/cloudera-scm-server.template
vim /etc/default/cloudera-scm-server
export CMF_JAVA_OPTS="-Xmx4G -XX:MaxPermSize=512m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp"

 

七、主节点上安装 cloudera-manager-server

1、安装 cloudera-manager-server

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

 安装完server之后，主节点的cdh安装算完成了，那么安装目录都在哪里呢？

/opt/cm   /opt/agent

/etc/cloudera-scm-agent   /etc/cloudera-scm-server

下载的离线安装包parcel人家已经创建好目录了，我们直接移动到 /opt/parcel-repo 下即可

 

2、主节点上配置 MySQL 数据库

官方给出的数据库有三种，分别是MySQL、Oracle和postgreSQL，这里使用的是MySQL

cd /etc/cloudera-scm-server/
cp db.properties db.properties.template
vim /etc/cloudera-scm-server/db.properties
cat /etc/cloudera-scm-server/db.properties

需要修改的配置 

# 指定数据库类型为mysql
com.cloudera.cmf.db.type=mysql
# 指定数据库的地址以及端口号
com.cloudera.cmf.db.host=cdh01:3306
# 指定CM数据库的名称
com.cloudera.cmf.db.name=scm
# 指定CM用户的用户名
com.cloudera.cmf.db.user=scm
# 指定CM用户的密码
com.cloudera.cmf.db.password=scm
# 指定数据库使用为外部数据库
com.cloudera.cmf.db.setupType=EXTERNAL 

 db.properties

# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
## The database type
# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
com.cloudera.cmf.db.type=mysql# The database host
# If a non standard port is needed, use 'hostname:port'
#com.cloudera.cmf.db.host=localhost# The database name
#com.cloudera.cmf.db.name=cmf# The database user
#com.cloudera.cmf.db.user=cmf# The database user's password
#com.cloudera.cmf.db.password=# The db setup type
# After fresh install it is set to INIT
# and will be changed post config.
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
#com.cloudera.cmf.db.setupType=INITcom.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh01:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNAL

主节点cdh01启动server服务

service cloudera-scm-server start

进入server log目录，查看日志，日志生产则代表服务已经正常启动成功

ll /var/log/cloudera-scm-server/

查看server状态

sudo systemctl status cloudera-scm-server

查看 server 日志 

tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log

 

查看 agent 日志

tail -F /var/log/cloudera-scm-agent/cloudera-scm-agent.log

 查看7182端口是否被占用 

netstat -anp | grep 7180

3、所有节点启动agent

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

 

八、安装CDH服务

1、登录cdh安装界面

（1）浏览器访问 http://cdh01:7180，进入cdh登录界面，默认账户密码 admin admin

 

选择第一个免费版本 

设置集群名称

2、配置host主机名称

将配置的主机名host输入，host之间用逗号分隔，点击搜索会弹出配置的host主机信息 

3、使用 httpd 服务安装 parcel 

安装httpd，将 /opt/cloudera/parcels/parcel-repo 下的文件复制到 /var/www/html/cdh6_parcel/

为了防止安装失败，本地 parcel 和 httpd 的parcel都备份一份

文件如下：

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
manifest.json

yum -y install httpd
sudo systemctl start httpd
ln -s /opt/cloudera/parcel-repo /var/www/html/cdh6_parcel
cp /opt/cloudera/parcel-repo/* /opt/cloudera/parcels/

http://cdh01/cdh6_parcel/

4、配置parcel存储库目录

method 1：

Repository Location  -> 自定义存储库 -> http://cdh01/cdh6_parcel/
CDH and other software -> 选择方法 -> 使用 Parcel (建议)  更多选项 

method 2： 

Repository Location  -> Public Cloudera Repository
CDH and other software -> 选择方法 -> 使用 Parcel (建议)  更多选项 

ln -s /opt/cloudera/parcel-repo /opt/cloudera/parcels

5、配置ssh登录凭据 

前面没有配置ssh免密码登录就是因为在CDH安装的过程中，这里会让我们设置ssh的账户密码

这里也可以选择其他用户，该用户必须拥有root权限和sudo权限（usermod和/etc/sudoers实现）

6、安装cloudera-manager-agent 

这里这个agent没安装成功，原因是之前已经安装过agent了，但是这里没有跳过安装的选项 

点击继续会提示安装失败，它给的提示也没有继续安装的选项 

这里有一个技巧，把浏览器访问的当前网址复制，在另一个窗口重新打开，

系统默认你安装成功，继续下一个安装界面，如果不成功则需要

返回选择在线安装agent，或者快照还原克隆时的状态，再选择在线安装agent

7、在线安装cloudera-manager-agent

返回选择存储库选项，重新把自定义存储库 Location换成 Repository 

install Agents： http://cdh01:7180/cmf/express-wizard/wizard#step=installStep

出现了一个节点安装失败，点击重试了很多下都没反应，最后等其他节点安装完很久后

重试可以再次安装了，可能是网络原因，看日志发现下载依赖包时换了很多个mirror

安装agent有时候还要拼人品拼网速，有时候很快安装完了，有时候会卡在某一个机器完全动不了

所以，一定要有耐心，特别是在网速不好还是在线安装agent的情况下

8、安装 CDH-6.3.2-1.cdh6.3.2.xxx.parcel

agent安装成功之后安装parcel包到每台主机

Install Parcels：http://cdh01:7180/cmf/express-wizard/resume#step=parcelInstallStep

 

 

Inspect Cluster：http://cdh01:7180/cmf/express-wizard/wizard#step=summaryStep2

 根据提示执行，禁止透明大页面压缩

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /etc/rc.local

首次安装建议选择自定义安装zookeeper

 

到这里之后建议把zookeeper和cloudera service服务关闭

然后关机，虚拟机备份一份状态，防止之后出现问题恢复

shutdown -h now

为了防止cdh server服务出问题，这里装了两天server服务，

cdh的server和agent服务都是开机自启的，关闭开机自启服务执行（把备用的一台关掉就行了）

chkconfig cloudera-scm-server off
systemctl disable cloudera-scm-server.service

备份之后再把其他大数据集群服务装上 

 

CDH 6.3.2 安装（一）：CDH 6.3.2 安装（一）_星辰大数据的博客-CSDN博客_cdh6.3.2

CDH 6.3.2 安装（二）：CDH 6.3.2 安装（二）_星辰大数据的博客-CSDN博客_cdh6.3.2


http://chatgpt.dhexx.cn/article/Sy70b278.shtml

相关文章

CDH6.3.1安装指南

CDH6.3.1安装指南

CDH安装指南！！！！ CDH简介 CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。 Cloudera Manager的功能&#xff…
阅读更多...
linux安装cdh

linux安装cdh

环境准备： linux版本：阿里云ecs，Red Hat 4.8.5，四台机器（一台主节点，三台从节点） cdh版本：cdh-6.1.0-install-soft.tar.gz，离线安装 java版本： jdk1.8.0_18…
阅读更多...
ClouderaCDH安装配置说明

ClouderaCDH安装配置说明

实验环境 实验环境：Win7下vmware虚拟机 操作系统：CentOS 6.5 x64 Clouder Manager：5.14.0 CDH：5.14.0 安装说明 官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被…
阅读更多...
CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用 CDH5（CDH 5.16.1）安装 CDH 6系列&am…
阅读更多...
CDH6.3.2详细安装

CDH6.3.2详细安装

CDH(Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 CDH优点： 1、提供基于web…
阅读更多...
cdh安装及配置

cdh安装及配置

一、修改linux主机名称 vim /etc/sysconfig/network 三台虚拟机修改后重启 centos7修改方法： [rootcentos7 ~]$ hostnamectl set-hostname 要修改的主机名.magedu.com # 使用这个命令会立即生效且重启也…
阅读更多...
cdh6.3.2安装

cdh6.3.2安装

1. 数仓之Cloudera Manager 1.1 CM简介 1.1.1 CM简介 Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理…
阅读更多...
CDH的安装与部署

CDH的安装与部署

1.基础环境准备 1.1创建一个新的虚拟机 1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚…
阅读更多...
cdh安装教程

cdh安装教程

CDH免费版最高版本提供到了6.3.2，从6.3.3开始不提供免费版，为此整理了cdh6.3.2的离线安装包，大家可以点此下载：CDH6.3.2 安装大体思路是将rpm压缩包解压到某个节点的本地目录，然后在这个节点开启http服务，…
阅读更多...
cdh平台安装详细教程

cdh平台安装详细教程

CDH安装文档目录 文章目录 0、准备1、配置免密码登录2、配置环境变量2.1、配置主机名，安装JDK2.2、安装mysql2.2.1、查看mysql是否安装2.2.2、主节点安装mysql 2.4、NTP安装 3、CDH Manager包文件文件上传分发4、CDH5的安装配置5、hdfs的高可用配置6、kafka安装7、…
阅读更多...
大数据之cdh集群安装

大数据之cdh集群安装

安装前的准备工作 配置主机名、hosts、开启PermitRootLogin、设置密码 、做免密 、java环境变量、时间同步 安装过程概述（Ubuntu18.04安装） (centos7离线安装参考https://www.cnblogs.com/swordfall/p/10816797.html) http://ro-bucharest-repo.bigs…
阅读更多...
CDH6.x安装教程(附带整合kerberos)

CDH6.x安装教程(附带整合kerberos)

CDH从6.3.3版开始不再免费，6.3.2及以下版本可免费使用，大家如有需要可联系我索取安装包。 安装步骤总览： 1、配置服务器系统基础环境 2、配置本地仓库 3、安装数据库 4、安装CM 5、添加大数据服务 CDH基本架构简述： CDH主要…
阅读更多...
CDH安装部署步骤

CDH安装部署步骤

CDH下载地址： CDH5.4： http://archive.cloudera.com/cdh5/ Cloudera Manager5.4.3: http://www.cloudera.com/downloads/manager/5-4-3.html 准备工作：（linux必须是64位的） 安装CDH之前，我们需要安装一…
阅读更多...
CDH安装配置（详细说明）

CDH安装配置（详细说明）

从网上看了很多的资料，填了不少的坑。总结一下。（这篇是整合网络的资料自己的坑） 关于CDH和Cloudera Manager CDH (Clouderas Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护&…
阅读更多...
CDH的安装详细步骤

CDH的安装详细步骤

目录 目录 第1章 配置环境 1.1.准备阶段 1.1.1.服务器 1.1.2.操作系统 1.2.安装配置 1.2.1.安装操作系统 1.2.2.配置操作系统 1.2.3.安装Oracle JDK （所有节点） 1.2.4.配置SSH免密 1.2.5.安装配置mysql 1.2.6. NTP时间同步 第2章 安装CDH …
阅读更多...
CDH6.2.0详细安装步骤

CDH6.2.0详细安装步骤

CDH6.2.0版本安装指南 1. 准备集群 本文档使用的是三台虚拟机，IP和主机名自行修改，三台虚拟机需要能联网，并且能够免密登录，这些网上都能找到详细的教程，有问题也可以底部留言交流。 ip名称内存xxx.xx.x.169node16916…
阅读更多...
俗话说：学好c语言，走遍天下都不怕

俗话说：学好c语言，走遍天下都不怕

c语言的重要性 C语言产生于1972年，是计算机的一种高级语言，目前在国际上还是很流行的，因为它具有低级程序语言的功能，所以也有人说它是中级语言。 对于大多数程序员来说。C语言是学习编程的第一门语言，也可以说是入门…
阅读更多...
如何学习 C 语言？

如何学习 C 语言？

在线资源 C程序员帮助建立了互联网，而互联网可以帮助你学习C。互联网时刻都在发展、变化，这里所列的资源只是在撰写本书时可用的资源。当然，你可以在互联网中找到其他资源。 如果有一些与C语言相关的问题或只是想扩展你的知识，可…
阅读更多...
关于学好C语言的心得

关于学好C语言的心得

一.工欲善其事，必先利其器 选择visual sudio 2019 原因：1.vs2019是集成开发环境，对新手友好，不需要配置环境，上手就可以使用 2.大部分网课教程都在使用，避免产生冲突 下载网址：Visual Studio 产…
阅读更多...
c语言学的是什么,C语言怎么学?

c语言学的是什么,C语言怎么学?

计算机有一种专业叫c语言，那么什么是c语言，怎么去学它？能给我们带来什么？这篇文章主要是针对此内容做一讲解！ c语言是一种电脑程序设计语言。它有高级语言的特点，也有整编语言的特征。可以作为系统设计和应…
阅读更多...
推荐文章

Copyright @ 2022~2023