CDH6.3.1安装指南

article/2025/11/6 14:48:46

CDH安装指南！！！！

CDH简介

CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。
Cloudera Manager的功能：
管理：对集群进行管理，如添加、删除节点等操作。
监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
集成：多组件进行整合

CDH架构图

《准备工作》

CDH安装包网盘资源：
链接：https://pan.baidu.com/s/1tWRgfpJ4rL00WaW5NXNjeg
提取码：7moe

CDH安装过程

一、环境初始化
1、修改主机名

vi /etc/hosts

2、关闭集群防火墙
每个节点上执行

systemctl stop firewalld && systemctl disable firewalld && iptables -F

3、关闭集群selinux

vi /etc/selinux/configSELINUX=disabled

修改成disabled之后重启linux系统生效

4、设置集群时钟同步
所有节点设置指定地区时区（时区根据业务需求而定）

timedatectl set-timezone Asia/Shanghai
timedatectl set-timezone Asia/Shanghai
timedatectl set-timezone Asia/Shanghai

5.所有节点安装ntp

yum install -y ntp

选取node06为ntp的主节点

vi /etc/ntp.conf
#time
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

当外部时间不不可⽤用时，可使⽤用本地硬件时间
server 127.127.1.0 iburst local clock
允许哪些⽹网段的机器器来同步时间
restrict 172.31.33.0 mask 255.255.255.0 nomodify notrap
restrict 172.31.35.0 mask 255.255.255.0 nomodify notrap

6.开启ntpd及查看状态

systemctl start ntpd
systemctl status ntpd

7.每个节点部署JDK

mkdir /usr/java
tar -zxf cdh/jdk-8u101-linux-x64.tar.gz -C /usr/java/
chown -R root:root /usr/java/jdk1.8.0_101
echo "export JAVA_HOME=/usr/java/jdk1.8.0_101" >> /etc/profile
echo "export PATH=/usr/java/jdk1.8.0_101/bin:${PATH}" >> /etc/profile 
source /etc/profile
java -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

8.主节点部署MySQL
MySQL8安装十分简单，这里就不多写了，自己去翻翻

9.主节点部署JDBC

mkdir -p /usr/share/java
cp cdh/mysql-connector-java-8.0.13.jar /usr/share/java/
cd /usr/share/java/
mv mysql-connector-java-8.0.13.jar mysql-connector-java.jar

（注意：这里我们部署的是MySQL8，jdbc也必须是8）

二、CDH部署
1、离线部署CM server及agent
1.1【所有节点】创建软件目录解压软件

cd /opt
mkdir cloudera-manager
cd
cd cdh
tar -zxf cm6.3.1-redhat7.tar.gz -C/opt/cloudera-manager

1.2【主节点执行】选择一个节点为主节点作为cm server，直接部署

cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

1.3【所有节点(包含主节点)】选择所有节点作为cm agent，直接部署

cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

1.4【所有节点】修改agent配置，指向server主节点

sed -i "s/server_host=localhost/server_host=主节点主机名
" /etc/cloudera-scm-agent/config.ini

1.5【修改主节点】的server配置

vim /etc/cloudera-scm-server/db.propertiescom.cloudera.cmf.db.type=mysqlcom.cloudera.cmf.db.host=node06.research.comcom.cloudera.cmf.db.name=cmfcom.cloudera.cmf.db.user=cmfcom.cloudera.cmf.db.password=www.research.comcom.cloudera.cmf.db.setupType=EXTERNAL

2、主节点部署离线parcel源
2.1 安装httpd

yum install -y httpd

2.2 部署离线parcel源

mkdir -p /var/www/html/cdh6_parcel
cp cdh/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/
mv cdh/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.1
mv cdh/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha
mv cdh/manifest.json /var/www/html/cdh6_parcel/
systemctl start httpd

2.3 页面访问http://ip/cdh6_parcel/

3、06主节点启动server

systemctl start cloudera-scm-server
ll /var/log/cloudera-scm-server/
total 20
-rw-r----- 1 cloudera-scm cloudera-scm 16679 Dec 10 18:27 cloudera-scm-server.log
-rw-r----- 1 cloudera-scm cloudera-scm 0 Dec 10 18:27 cmf-server-nio.log
-rw-r----- 1 cloudera-scm cloudera-scm 0 Dec 10 18:27 cmf-server-perf.log
tail /var/log/cloudera-scm-server/cloudera-scm-server.log

4、所有节点启动agent