CDH 6.3.2集群安装部署

article/2025/10/3 6:01:21

文章目录

    • CDH 6.3.2集群安装部署
      • 一 CDH概要
        • 1.1 CDH的背景
        • 1.2 CDH介绍
      • 二 环境准备
        • 2.1 安装部署环境
        • 2.2 部署规划
        • 2.3 服务器主机映射
        • 2.4 服务器免登录配置
        • 2.5 防火墙关闭
        • 2.6 关闭Selinux
        • 2.7 设置最大打开文件
        • 2.8 关闭最大透明页面压缩
        • 2.9 设置Swappiness空间
        • 2.10 安装JDK
        • 2.11 MySQL安装部署
          • 2.11.1 MySQL5.7.28安装部署
          • 2.11.2 MySQL 8.0.26安装部署
        • 2.12 所有节点安装MySQL JDBC驱动依赖包
        • 2.13 创建ClouderaManager用户
      • 三 CM和CDH部署
        • 3.1 上传安装文件
        • 3.2 创建cloudera-manager目录
        • 3.3 分发cloudera-manager到其他节点
        • 3.4 每个节点安装daemons、agent
        • 3.5 主节点安装server
        • 3.6 Server配置
        • 3.7 Agent配置
        • 3.8 初始化Server需要的数据库
        • 3.9 部署离线parcel源
        • 3.10 启动CMS的Server和Agent
        • 3.11 Windows配置映射
        • 3.12 访问Server
      • 四 CDH集群安装
        • 4.1 CMS主页面
        • 4.2 接受许可协议
        • 4.3 版本选择
        • 4.4 CDH集群安装
          • 4.4.1 CDH集群安装主页面
          • 4.4.2 集群名称
          • 4.4.3 指定主机
          • 4.4.4 选择pracel
          • 4.4.5 安装Parcels
          • 4.4.6 检测网络性能和主机
          • 4.4.7 选择服务
          • 4.4.8 角色分配
          • 4.4.9 数据库设置
          • 4.4.10 审核配置更改
          • 4.4.11 首次运行CDH集群
          • 4.4.12 汇总
      • 五 CDH 集群操作
        • 5.1 CDH集群主页面
          • 5.2 HDFS服务
          • 5.3 YARN服务
          • 5.4 Hue服务与操作
          • 5.5 用户&角色管理
      • 六 CDH集群拓展
        • 6.1 CDH安装后目录介绍
        • 6.2 启用HDFS的HA
        • 6.3 启用YARN的HA
        • 6.4 其它CDH相关问题(升级Hive版本、安装Apache Spark等)

CDH 6.3.2集群安装部署

一 CDH概要

1.1 CDH的背景

  • 原生的Hadoop版本很多，兼容性得自己调研，成本高
  • 缺乏便捷的管理工具或者平台，运维效率低，成本高
  • Hadoop相关组件发行商也比较多

基于以上一些原因，企业大数据开发和生产多采用CDH集群，便于集群的运维和管理等。

1.2 CDH介绍

首先，先说一下Cloudera公司，Cloudera公司提供了一个灵活的、可扩展的、容易集成和方便管理的平台，提供Web浏览器操作，容易上手。Cloudera产品和解决方案能提供部署、管理 Apache Hadoop和相关项目，维护和分析数据，保证数据安全受保护等。Cloudera公司提供一系列产品，包括：CDH、CMS、Impala、Search和Manager等。

CDH是Cloudera 提供的一个基于Web浏览器管理的灵活、可扩展的、容易集成和方便管理开源Hadoop和相关项目的平台。

CDH版本很多，CDH 6.3.x及以前版本都是免费，之后的版本是收费版本，本文档主要是使用CMS 6.3.1和CDH6.3.2版本。

CDH 6.3.2 Packaging具体如下：

ComponentComponent VersionChanges Information
Apache Avro1.8.2Changes
Apache Flume1.9.0Changes
Apache Hadoop3.0.0Changes
Apache HBase2.1.4Changes
HBase Indexer1.5Changes
Apache Hive2.1.1Changes
Hue4.3.0Changes
Apache Impala3.2.0Changes
Apache Kafka2.2.1Changes
Kite SDK1.0.0Changes
Apache Kudu1.10.0Changes
Apache Solr7.4.0Changes
Apache Oozie5.1.0Changes
Apache Parquet1.9.0Changes
Parquet-format2.4.0Changes
Apache Pig0.17.0Changes
Apache Sentry2.1.0Changes
Apache Spark2.4.0Changes
Apache Sqoop1.4.7Changes
Apache ZooKeeper3.4.5Changes

二 环境准备

2.1 安装部署环境

本次CDH和CMS安装环境及版本说明：

环境名称版本备注
window操作系统11
VMware16.1.0 build-17198959
Centos7.7
Java1.8.0_152
MySQL5.7.28
chrome版本 103.0.5060.114（正式版本） （64 位）

2.2 部署规划

主机名IP域名服务备注
qianfeng01192.168.10.101无8G/2CPU
qianfeng02192.168.10.102无3G/2CPU
qianfeng03192.168.10.103无3G/2CPU

2.3 服务器主机映射

添加本机的静态IP和本机的主机名及域名之间的映射关系，如果不用域名可以不用添加，如果阿里云服务器也建议使用静态IP，我的具体配置如下：

[root@qianfeng01 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.10.101 qianfeng01
192.168.10.102 qianfeng02
192.168.10.103 qianfeng03

注意

  1. 规划中的每一台服务器都需要执行
  2. 如果该步骤已经做过，直接跳过即可

2.4 服务器免登录配置

# 1. 使用rsa加密技术，生成公钥和私钥。一路回车键即可
[root@qianfeng01 ~]# ssh-keygen -t rsa# 2. 使用ssh-copy-id命令
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng01
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng02
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng03# 3. 验证免登录	
[hadoop@qianfeng01 .ssh]# ssh qianfeng01
[hadoop@qianfeng01 .ssh]# ssh qianfeng02
[hadoop@qianfeng01 .ssh]# ssh qianfeng03# 4. 继续在qianfeng02和qianfeng03生成公钥和私钥，给三台节点互相拷贝和验证是否达到免登录。

2.5 防火墙关闭

每台规划安装的服务器都执行如下的命令。

#停止防火墙
[root@qianfeng01 ~]# systemctl stop firewalld
#禁用防火墙(开机不再自启动)
[root@qianfeng01 ~]# systemctl disable firewalld
#停止网络管理
[root@qianfeng01 ~]# systemctl stop NetworkManager
#禁用网络管理
[root@qianfeng01 ~]# systemctl disable NetworkManager

注意

  1. 如果是阿里云服务器或者云服务器，没有办法或不允许关闭的，需要注意添加防火墙规则
  2. 如果可以关闭，每一台服务器都需要执行防火墙关闭和禁止开机自启动

2.6 关闭Selinux

每台服务器都需要将selinux关闭掉，这是linux系统的一个安全机制，进入文件中将SELINUX设置为disabled，不关闭安装CM就应该会报错。

#关闭selinux，设置SELINUX=permissive，或者disable 然后重启服务器
[root@qianfeng01 ~]# vim /etc/selinux/config
.........
SELINUX=disabled			
.........
#关闭selinux，当前session生效，setenforce 0,其中的0就是permissive
[root@qianfeng01 ~]# setenforce 0

2.7 设置最大打开文件

每台服务器都执行如下命令行。

#设置，再末尾添加即可
[root@qianfeng01 ~]# vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 1024999
* soft nproc 65535
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited

2.8 关闭最大透明页面压缩

每台服务器都执行，并且设置后需要重启服务器。

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /etc/rc.local

2.9 设置Swappiness空间

每台服务器都需要执行，并且设置后需要重启服务器。

echo "vm.swappiness=0"  >> /etc/sysctl.conf

Cloudera建议将交换空间设置为0，过多的交换空间会引起GC的耗时激增。

2.10 安装JDK

每台规划的安装CM或者CDH的服务器都需要执行如下的JDK安装操作，如果已经做过，忽略即可。

  1. 卸载之前的JDK

    # 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。
[root@qianfeng01 ~]# rpm -qa | grep jdk     		# 如果有,请卸载
[root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps      	# 将查询到的内置jdk强制卸载

  2. 上传JDK安装包到指定的路径

    使用MobaXterm或者FinalShell直接上传即可，上传到 /root/softwares 下

  3. 解压JDK到指定安装路径

    [root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local

  4. 配置环境变量

    [root@qianfeng01 local]# vim /etc/profile...上述内容省略，在末尾添加即可...
# Java Environment
export JAVA_HOME=/usr/local/jdk1.8.0_152
export PATH=$PATH:$JAVA_HOME/bin

  5. 重新引导，使得环境变量生效

    [root@qianfeng01 local]# source /etc/profile

  6. 验证JDK是否配置完成

    [root@qianfeng01 local]# java -version

  7. 创建jdk的软链接

    #分别在qianfeng01、qianfeng02和qianfeng03上执行如下命令：
mkdir -p /usr/java
ln -s /usr/local/jdk1.8.0_152 /usr/java/default

注意

  1. Cloudera强烈建议安装oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm，否则容易造成JAVA_HOME不被发现。但是我测试不安装他建议的oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm很多次都没有问题。这个大家自行考虑。
  2. 上诉第7步骤创建软链接都建议需要操作，否则cdh安装可能有很多地方意向不到的错误，因为CDH默认都在/usr/java下找jdk。

2.11 MySQL安装部署

我下面给出MySQL 5.7.28和MySQL 8.0.26的安装部署，根据自己的需求，选择一种即可(MySQL部署一台服务器即可，生产部署集群或主从)。本次安装我选择的是MySQL 5.7.28来安装。

2.11.1 MySQL5.7.28安装部署
#如下是5.7.28的mysql的安装命令
1. 上传服务器的home目录
2. 分别执行命令如下
#解压MySQL安装包
tar -xvf /home/mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar #查询mariadb，并将其卸载
rpm -qa| grep mariadb
rpm -e mariadb-libs-5.5.64-1.el7.x86_64 --nodeps
rpm -qa| grep mariadb#依次安装解压出来的MySQL包
rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm 
rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
#安装server需要的依赖
yum -y install perl net-tools
rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm 
rpm -ivh /home/mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm  #为了cms的agent安装需要，单独MySQL不需要#启动或者停止MySQL服务
systemctl start mysqld
systemctl status mysqld#查询MySQL的初始密码
cat /var/log/mysqld.log | grep password#登录MySQL进行密码策略修改和授权
mysql -uroot -p输入密码(刚才查询出来的初始化密码)
mysql>set global validate_password_policy=low;
mysql>set global validate_password_length=2;
mysql>alter user root@localhost identified by '123456';# 3. 远程授权
create user root@'%' identified by '123456';
grant all privileges on *.* to 'root'@'%' with grant option;# 4. 删除mysql表中的Host='localhost' and User = 'root'
mysql> delete from mysql.user where Host="localhost" and User = 'root';# 5. 刷新权限
flush privileges;
2.11.2 MySQL 8.0.26安装部署

  1. 安装包准备

    通过SSH工具，将MySQL的RPM安装包上传到Linux的 ~/software 目录下。MySQL的RPM安装包，可以在MySQL的官网下载，也可以直接使用课程提供的资料。 注意事项:
- 在官网下载安装包的时候，注意版本号
- mysql-8.0.26-1.el7.aarch64.rpm-bundle.tar
- 这里的el7，表示适用于CentOS7的版本。注意，不要下载el6的。
- aarch64: 这个表示arm版本的CentOS，如果是amd64架构的，可以选择x64。

  2. 安装前准备

     # CentOS7中，系统默认采用的数据库是mariadb，这个数据库与MySQL冲突!
# 因此，在安装MySQL之前，需要先将其卸载!
[root@qianfeng01 ~]# rpm -qa | grep mariadb 	# 查询是否已经安装了mariadb 
mariadb-libs-5.5.68-1.el7.aarch64 				# 查询结果。如果没有这个结果，说明没有安装。# 强制卸载mariadb
# --nodeps: 强制卸载，RPM卸载程序的时候，如果这个程序被其他的程序依赖，是无法卸载的。
# 			此时，就需要使用--nodeps，忽略依赖，强制卸载。
# 下面的卸载命令中，卸载的包是上方查询到的包
[root@qianfeng01 ~]# rpm -e mariadb-libs-5.5.68-1.el7.aarch64 --nodeps

  3. 安装MySQL

     # 安装MySQL, 其实就需要安装 mysql-community-server, 但是它依赖其他的包
[root@qianfeng01 mysql]# rpm -ivh mysql-community-common-8.0.26-1.el7.aarch64.rpm 
[root@qianfeng01 mysql]# rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.aarch64.rpm
[root@qianfeng01 mysql]# rpm -ivh mysql-community-libs-8.0.26-1.el7.aarch64.rpm 
[root@qianfeng01 mysql]# rpm -ivh mysql-community-libs-compat-8.0.26-1.el7.aarch64.rpm 
[root@qianfeng01 mysql]# rpm -ivh mysql-community-client-8.0.26-1.el7.aarch64.rpm 
[root@qianfeng01 mysql]# yum install -y net-tools
[root@qianfeng01 mysql]# rpm -ivh mysql-community-server-8.0.26-1.el7.aarch64.rpm

  4. 启动MySQL的服务

     # 查看MySQL服务的运行状态
[root@qianfeng01 ~]# systemctl status mysqld 
# 如果MySQL服务没有开启，则开启
[root@qianfeng01 ~]# systemctl start mysqld

  5. 登录到MySQL

     # 在第一次开启MySQL服务的时候，会自动生成一个随机的密码
[root@qianfeng01 ~]# grep password /var/log/mysqld.log 
# 到mysqld.log文件中查找 password
2020-12-16T07:47:14.117739Z 1 [Note] A temporary password is generated for root@localhost: pVLJs6&o(QQe
# 使用这个随机密码登录到MySQL 
[root@qianfeng01 ~]# mysql -u root -p 
pVLJs6&o(QQe # 这里用自己的密码登录

  6. 修改密码

    # 1. 修改MySQL的密码策略(安全等级)
# MySQL默认的密码安全等级有点高，在设置密码的时候，必须同时包含大小写字母、数字、特殊字符，以及对位数有要求
show variables like '%validate_password%';
set global validate_password.policy=LOW;
set global validate_password.length=2;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;
# 2. 修改密码
alter user root@localhost identified by '123456';
# 3. 远程授权
create user root@'%' identified by '123456';
grant all privileges on *.* to 'root'@'%' with grant option;# 4. 删除mysql表中的Host='localhost' and User = 'root'
mysql> delete from mysql.user where Host="localhost" and User = 'root';# 5. 刷新权限
flush privileges;

  7. 重新登录

    试着退出MySQL，用新的密码重新登录。如果可以登录成功，那么MySQL的安装就到此结束!
MySQL在安装完成后，是不需要配置环境变量的。因为RPM的安装特性，启动脚本会被放到/usr/bin下。这个路径本来 就在环境变量里面，不需要单独配置。

  8. 提前为CMS创建相关数据库

    # 登录mysql
mysql -uroot -p
# 登录后执行下面的sql
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm123456';
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;grant all privileges on *.* to 'root'@'%' identified by '123456';
flush privileges;

注意

  1. MySQL使用一台服务器安装部署即可。
  2. MySQL一定要授权远程某一个指定IP规则的服务器能登录到。
  3. 如果使用阿里云或者物理机服务器，建议把密码等级和权限等级都提升。

2.12 所有节点安装MySQL JDBC驱动依赖包

 # 主节点创建/usr/share/java目录，将jdbc的jar包放进去
[root@qianfeng01 home]# mkdir -p /usr/share/java  # cdh默认搜索目录
[root@qianfeng01 home]# cp mysql-connector-java-5.1.28-bin.jar /usr/share/java/mysql-connector-java.jar # 去掉版本号
#采用远程分发
[root@qianfeng01 cloudera-scm-server]# scp -r /usr/share/java qianfeng02:/usr/share/                                                                                                                          
[root@qianfeng01 cloudera-scm-server]# scp -r /usr/share/java qianfeng03:/usr/share/

2.13 创建ClouderaManager用户

每台节点都执行如下操作。

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

三 CM和CDH部署

3.1 上传安装文件

╭liyadong at ~
╰$ scp ~/Desktop/CDH6.3.2.zip qianfeng01:/home
[root@qianfeng01 home]# unzip ./CDH6.3.2.zip

需要安装包的，留言我发你链接即可，留言必发！！！

3.2 创建cloudera-manager目录

#创建目录
[root@qianfeng01 home]# mkdir /opt/cloudera-manager
#解压CDH安装文件
[root@qianfeng01 home]# cd ./CDH6.3.2
[root@qianfeng01 CDH6.3.2]# tar -zxvf cm6.3.1-redhat7.tar.gz
#移动
[root@qianfeng01 CDH6.3.2]# cp ./cm6.3.1/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@qianfeng01 CDH6.3.2]# cp ./cm6.3.1/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@qianfeng01 CDH6.3.2]# cp ./cm6.3.1/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
#列出软件
[root@qianfeng01 CDH6.3.2]# ll /opt/cloudera-manager/
总用量 1185872
-rw-r--r--. 1 root root   10483568 3月  25 13:24 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 root root 1203832464 3月  25 13:25 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 root root      11488 3月  25 13:25 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

3.3 分发cloudera-manager到其他节点

[root@qianfeng01 CDH6.3.2]# scp -r /opt/cloudera-manager/ qianfeng02:/opt/
[root@qianfeng01 CDH6.3.2]# scp -r /opt/cloudera-manager/ qianfeng03:/opt/

3.4 每个节点安装daemons、agent

#先安装agent需要的依赖(每台节点都执行)
[root@qianfeng01 ~]# yum install -y redhat-lsb httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libpq.so
[root@qianfeng02 ~]# yum install -y redhat-lsb httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libpq.so
[root@qianfeng03 ~]# yum install -y redhat-lsb httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libpq.so#agent需要提前安装的依赖(每台节点都执行)
[root@qianfeng01 ~]# yum -y install perl bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs psmisc openssl httpd mod_ssl openssl-devel python-psycopg2 MySQL-python postgresql-libs.x86_64 lsb
[root@qianfeng02 ~]# yum -y install perl bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs psmisc openssl httpd mod_ssl openssl-devel python-psycopg2 MySQL-python postgresql-libs.x86_64 lsb
[root@qianfeng03 ~]# yum -y install perl bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs psmisc openssl httpd mod_ssl openssl-devel python-psycopg2 MySQL-python postgresql-libs.x86_64 lsb#每台节点安装cloudera-manager-daemons，安装完毕后生成/opt/cloudera目录
[root@qianfeng01 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@qianfeng02 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@qianfeng03 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
#每台节点安装
[root@qianfeng01 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
[root@qianfeng02 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
[root@qianfeng03 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

3.5 主节点安装server

[root@qianfeng01 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

3.6 Server配置

## 主节点修改server的配置，确定以下项与之前创建库时一致,用户名和密码授权的也要和如下一致
[root@qianfeng01 CDH6.3.2]# vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=qianfeng01
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm123456
com.cloudera.cmf.db.setupType=EXTERNAL

3.7 Agent配置

## 每个从节点修改agent的配置，指向server的节点
[root@qianfeng01 CDH6.3.2]# vi /etc/cloudera-scm-agent/config.ini
server_host=qianfeng01

3.8 初始化Server需要的数据库

# 初始化cm数据库（密码自己设置）
[root@qianfeng01 ～]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm123456# 脚本参数解释
scm_prepare_database.sh 【数据库类型】 【CDH要创建的数据库名称】 【CDH数据库用户名】 【CDH数据库用户密码】

3.9 部署离线parcel源

[root@qianfeng01 CDH6.3.2]# mkdir -p /opt/cloudera/parcel-repo
[root@qianfeng01 CDH6.3.2]# mv /home/CDH6.3.2/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo
[root@qianfeng01 CDH6.3.2]# mv /home/CDH6.3.2/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
[root@qianfeng01 CDH6.3.2]# mv /home/CDH6.3.2/manifest.json /opt/cloudera/parcel-repo

3.10 启动CMS的Server和Agent

## 主节点启动server
[root@qianfeng01 CDH6.3.2]# systemctl start cloudera-scm-server# 查看日志，出现7180说明启动成功,，有错误解决错误
[root@qianfeng01 CDH6.3.2]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log## 查看端口 7180
[root@qianfeng01 CDH6.3.2]# netstat -nltcp | grep 7180 
# qianfeng01:7180可以进入web页面表示成功，接下来启动agent## 每个从节点启动agent
[root@qianfeng01 CDH6.3.2]# systemctl start cloudera-scm-agent## 停止
[root@qianfeng01 CDH6.3.2]# systemctl stop cloudera-scm-server
[root@qianfeng01 CDH6.3.2]# systemctl stop cloudera-scm-agent
[root@qianfeng01 CDH6.3.2]# systemctl disable cloudera-scm-server # 关闭开机启动
[root@qianfeng01 CDH6.3.2]# systemctl disable cloudera-scm-agent # 关闭开机启动

3.11 Windows配置映射

#编辑如下的配置文件，mac系统为/etc/hosts文件，追加如下3行映射
C:\Windows\System32\drivers\etc\hosts192.168.10.101 qianfeng01
192.168.10.102 qianfeng02
192.168.10.101 qianfeng03

3.12 访问Server

http://qianfeng01:7180 ,默认用户名和密码都为admin，自己登录即可。

image-20230326173827742

四 CDH集群安装

4.1 CMS主页面

登录CMS，成功后进入CMS的主页面如下，如下图所示：

image-20230326174029688

4.2 接受许可协议

点击如上图中的右下角的继续接受许可协议，如下图所示：

image-20230326174153429

4.3 版本选择

CMS总共提供三个版本，最左边是免费版、中间是试用期60天版(到期后会通知，不缴费自动转免费版)和最右企业版。我这里选择试用60天，如下图所示：

image-20230326174306383

4.4 CDH集群安装

4.4.1 CDH集群安装主页面

进入群集安装，选择右下角的继续即可：

image-20230326174409046

4.4.2 集群名称

集群名称填写，如下图所示：

image-20230326174550584

4.4.3 指定主机

选择主机，用于安装CDH相关软件包的主机，会自动检测出来，我们只需要勾选即可，如下图所示：

image-20230326175927709

4.4.4 选择pracel

选择CDH的版本，即CDH对应的Parcels(它里面包含一系列的CDH相关服务的软件包)，这个地方显示的就是我们之前部署离线parcel源步骤的结果，然后继续即可：

image-20230326181124150

4.4.5 安装Parcels

开始安装Parcels，将主服务器上的Parcels下载、分配到其它服务器，并进行解压和激活可用操作，所以这一步需要稍微等一会，等待安装成功如下图所示：

image-20230326181649856

4.4.6 检测网络性能和主机

检测服务器之间的网络性能、到达性，该步骤防火墙最好关闭；检查所有主机环境是否符合安装Parcels相关包，比如检测JAVA环境是否一致和最大透明页是否关闭等。检测成功如下图所示：

image-20230326182010861两个都检测成功如下所示：

image-20230326183627760

4.4.7 选择服务

选择安装那些服务，它提供几类系列搭配和自定义服务，我这里选择大数据开发，如下图所示：

image-20230326185333925

4.4.8 角色分配

就是将选择的服务分配到指定主机上安装，默认就设置了，大家认真检查一下是否是自己所需要的即可，适当调整，也可以进入按主机查看来进行调整也行，具体分配如下图所示：

image-20230326185547831

image-20230326185804089

4.4.9 数据库设置

配置对应服务的元数据库、用户名和密码，使用提前创建的好的数据库，用户名对对应的库一定要有对应的权限，测试全部连接成功后，选择右下角的继续。具体如下图所示：

image-20230326193246321

4.4.10 审核配置更改

可以根据自己需要修改一些服务的相关配置，我这儿全部采用默认，具体如下图所示：

image-20230326193534008

image-20230326193623400

4.4.11 首次运行CDH集群

第一次运行CDH集群的相关命令详细信息，不需要操作，如有报错，查看对应的错误信息，等待完成。然后选择继续即可：

image-20230326194557352

4.4.12 汇总

服务安装和运行的汇总，通常都是完成状态，如下图：

image-20230326194650859

点击完成，到此为止CDH安装结束。

五 CDH 集群操作

5.1 CDH集群主页面

CDH集群主页面面服务及状态查看：

image-20230326204637922

上图中，绿色✅小圆圈代表正常，黄色对勾小圆圈代表异常，红色对勾小圆圈代表错误。黄色小扳手代表配置异常。

CDH主页面的顶部顶部导航概览：

image-20230326233140401

如主机下的角色分配：

image-20230327002900591

5.2 HDFS服务

HDFS的配置如下：

image-20230326231857579

访问HDFS的NameNode服务：

image-20230326231320204

访问如下图：

image-20230326231355263

5.3 YARN服务

YARN服务介绍：

image-20230326232428751

查看ResourceManager的Web UI：

image-20230326232531110

5.4 Hue服务与操作

Hue相关服务：

image-20230326234943448

Hue创建用户：

image-20230326233432582

Hue面板介绍：

image-20230326233804606

Hue执行Hive相关命令：

image-20230326234525084

5.5 用户&角色管理

添加CDH用户：

image-20230326235123146

添加用户：

image-20230326235422957

角色则是，为某个用户分配某个集群什么权限，自行操作即可。

六 CDH集群拓展

6.1 CDH安装后目录介绍

CDH在服务器相关服务的安装目录：/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/服务名称

CDH在服务器相关的配置目录：/etc/服务名称 或者 /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/etc/服务名称，建议第一种方式。

CDH在服务器相关服务命令行目录：/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/bin/服务命令 或 /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/服务名称/bin/对应服务

6.2 启用HDFS的HA

参考我的文章：https://blog.csdn.net/u010839779/article/details/129162558?spm=1001.2014.3001.5502

6.3 启用YARN的HA

参考我的文章：https://blog.csdn.net/u010839779/article/details/129254636?spm=1001.2014.3001.5502

6.4 其它CDH相关问题(升级Hive版本、安装Apache Spark等)

参考我的CDH分类专栏：https://blog.csdn.net/u010839779/category_12198067.html

参考：
https://blog.csdn.net/suwei825/article/details/120761437


http://chatgpt.dhexx.cn/article/6mtGjEDO.shtml

相关文章

CDH6.3.1部署

CDH6.3.1部署

CDH部署 1.准备工作 资源有限，使用虚拟机进行如下配置 机器配置 IP主机名配置192.168.130.221CDH14G 2处理器 60G磁盘192.168.130.222CDH22G 1处理器 20G磁盘192.168.130.223CDH32G 1处理器 20G磁盘 建议配置 IP主机名配置192.168.130.221CDH18G 4处理器 80G磁盘…
阅读更多...
CDH 动态资源池

CDH 动态资源池

CDH 动态资源池 CDH 的动态资源池类似于 Yarn 中的队列概念差不多现在有这样一个需求，开发环境中，就只有一套 CDH 的集群，不同的用户组使用不同的硬件资源，这时候可以通过动态资源池来实现这个功能。需求： 一个 CDH 集…
阅读更多...
CDH目录结构

CDH目录结构

1 组件安装路径: /opt/cloudera/parcels/CDH/lib 2 组件配置路径： /etc/组件名/conf 步骤1 通过软链接指过来 hadoop配置文件路径：/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop (hadoop软链接 -->/etc/hadoop/conf) /etc/hadoop/conf …
阅读更多...
CDH邮件报警配置

CDH邮件报警配置

CDH邮件报警配置 cloudera manager提供邮件告警功能，方便管理员在集群出现问题的第一时间维护集群。 登录CM 点击进入cloudera manager service服务 启用电子邮件警报 在搜索框输入启用电子邮件警报，并启用 配置邮箱服务器 配置邮箱服务器 保存配置并…
阅读更多...
CDH 6.3.1安装

CDH 6.3.1安装

一、准备工作 1 安装lrzsz [roothadoop001 ~]# yum -y install lrzsz [roothadoop002 ~]# yum -y install lrzsz [roothadoop003 ~]# yum -y install lrzsz2 上传安装文件 [roothadoop001 ~]# rz[roothadoop001 cdh63]# ll -h total 3.9G -rw-r--r-- 1 root root 2.0G Oct …
阅读更多...
CDH部署及排错

CDH部署及排错

第1章 搭建 前言 该文档为部署CDH6.3.1,其他版本的CDH安装步骤大体一样，如果安装其他版本的cdh遇到报错，请参考我的另一篇文档。 CDH-7.1.4安装报错解决 1.1 说明 这里的ip和主机名视实际情况而定 1.2 环境 操作系统 CentOS 7 服务器5台&#xff0c…
阅读更多...
CDH 维护

CDH 维护

1、cm启动 systemctl restart cloudera-scm-serversystemctl restart cloudera-scm-agent2、虚拟机异常，导致mysql重启失败 去掉data目录下的ib_logfile0 ib_logfile1这两个文件，mv rm都行 然后启动mariadb就行 3、CDH 测试数据不足： 测试 A…
阅读更多...
CDH

CDH

CDH(Cloudera Distribution Hadoop), 是一个大数据平台 Hadoop的发行版本有很多，有华为发行版，Intel发行版，Cloudera发行版（CDH），MapR版本,以及HortonWorks版本等。所有发行版都是基于Apache Hadoop衍生出来…
阅读更多...
centos7安装cdh全过程

centos7安装cdh全过程

centos7配置静态ip Vi /etc/sysconfig/network-scripts/ ifcfg-ens33 TYPEEthernet PROXY_METHODnone BROWSER_ONLYno BOOTPROTOstatic DEFROUTEyes IPV4_FAILURE_FATALno IPV6INITyes IPV6_AUTOCONFyes IPV6_DEFROUTEyes IPV6_FAILURE_FATALno IPV6_ADDR_GEN_MODEstable-priva…
阅读更多...
CDH是什么？

CDH是什么？

CDH CDH是Cloudera的100％开放源代码平台发行版，包括Apache Hadoop，是专门为满足企业需求而构建的。CDH可立即提供企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成在一起，Cloudera创建了功能先进的系统&#xff0…
阅读更多...
CDH简介

CDH简介

一、CDH概念 CDH，全称Clouderas Distribution, including Apache Hadoop。由美国的Cloudera公司推出的大数据产品；CDH是基于稳定版本的Apache Hadoop构建而成，也是目前市场上应用比较广泛的大数据产品。 二、CDH架构 三、CDH优点 1.版本管理…
阅读更多...
大数据之CDH（web页面部署Hadoop）

大数据之CDH（web页面部署Hadoop）

一、了解CDH 在众多 Hadoop 版本中， CDH 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。 1.1 Hadoop 属于开源软件，采用Apa…
阅读更多...
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )

CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )

CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 ) 第一章：CDH简介 CDH概念 ​ CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他…
阅读更多...
Symmetric Eigenvalue Decomposition

Symmetric Eigenvalue Decomposition

求特征值求出s，如何求r 转载于:https://www.cnblogs.com/zzsama/p/10856126.html
阅读更多...
Eigenvalue and singular value

Eigenvalue and singular value

1. 特征值: A为方阵，v是A的特征向量。 λ是特征向量v对应的特征值。 一个矩阵的特征向量是一组正交向量。 其中Q是这个矩阵A的特征向量组成的矩阵； 一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量&#xff0…
阅读更多...
Part2 正交、行列式、特征值

Part2 正交、行列式、特征值

方阵的行列式determinant eigen values特征值 Determinants det A|A| 这三个性质定义了行列式： 1. det I1 2. exchange rows：reverse sign of det 置换矩阵 det P1 even -1 odd 3. matlab求行列式： pivot formula主…
阅读更多...
【线代NumPy】第八章 - 特征值和特征向量 | Eigenvalue and Eigenvector | 简述并提供代码

【线代NumPy】第八章 - 特征值和特征向量 | Eigenvalue and Eigenvector | 简述并提供代码

💬 例1： import numpy as npA = np.array([[2, 3], [3, -6]]) w1, V1 = np.linalg.eig(A) # 计算A的特征值和特征向量print("A的特征值： = ", w1) print("A的特征向量： = ", V1)B = np.array([[5,2,0], [2,5,0], [-3,4,6]]) w2, V2 = np.linalg.eig(…
阅读更多...
Householder transformation + QL to calculate eigenValue and eigenVectors of Hertian Matrix, cpu code

Householder transformation + QL to calculate eigenValue and eigenVectors of Hertian Matrix, cpu code

化Hertinan matrix eigen problem into a real symmetric matrix eigen problem: 原理： 与matlab的结果进行对比： A[ ... ( 3.0 0.0*j) (-2.0 -2.0*j) (-0.9 -0.9*j) (-0.5 -0.5*j); ... (-2.0 2.0*j) ( 4.0 0.0*j) ( 1.0 1.0*j) (-0.7…
阅读更多...
Truncated Power Method for Sparse Eigenvalue Problems

Truncated Power Method for Sparse Eigenvalue Problems

目录 算法k的选择\(x\)的初始化代码 抱歉，真的没怎么看懂，当然，估计和我现在没法静下心来好好看也有关系。 算法 想法非常非常简单吧，就是在原来幂法的基础上，每次迭代的时候再加个截断。当然，论文里给出了…
阅读更多...
R语言将向量数据按照行方式转化为矩阵数据（设置参数byrow为TRUE）、计算矩阵数据的特征值（eigenvalue）

R语言将向量数据按照行方式转化为矩阵数据（设置参数byrow为TRUE）、计算矩阵数据的特征值（eigenvalue）

R语言将向量数据按照行方式转化为矩阵数据（设置参数byrow为TRUE）、计算矩阵数据的特征值（eigenvalue） 目录 R语言将向量数据按照行方式转化为矩阵数据（设置参数byrow为TRUE）、计算矩阵数据的特征值&#x…
阅读更多...
推荐文章

Copyright @ 2022~2023