CDH数仓项目(一) —— CDH安装部署搭建详细流程

article/2025/11/6 11:41:30

0 说明

本文以CDH搭建数据仓库，基于三台阿里云服务器从零开始搭建CDH集群，节点配置信息如下：

节点内存安装服务角色
chen10216Gcloudera-scm-server
chen1038Gcloudera-scm-agent
chen1048Gcloudera-scm-agent

上传需要用到的安装包：
① CDH安装包，百度云分享如下：

链接：https://pan.baidu.com/s/1N9QBYxpgGOKtEeaw7Y3bpQ 提取码：o73t

② JDK(JDK8+)，百度云连接

链接：https://pan.baidu.com/s/1BGw-y2sDLeqtA8ZSlf1JZw
提取码：08c8

1 前期准备

1.1 配置集群hosts文件

配置集群hosts文件，并将集群节点和ip映射配置到hosts文件中。
在这里插入图片描述

1.2 打通免密

  1. 生成私钥和公钥
ssh-keygen -t rsa

2）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id chen102
ssh-copy-id chen103
ssh-copy-id chen104

在其他节点重复上面操作，即可

1.3 安装JDK并配置环境变量

注：CDH只能识别/usr目录下的java,这里需要将java安装在/usr目录下，这里不再赘述

1.4 安装Mysql

只需在chen102节点上安装
1）卸载mariadb

rpm -qa | grep mariadb | xargs rpm -e --nodeps

2）下载msql5.7 yum源

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

3）安装yum源

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

在这里插入图片描述

4）安装mysql

yum -y install mysql-server

5）启动mysql

service mysqld start

6）查看root用户密码

grep 'temporary password' /var/log/mysqld.log    d9V,K1..6e.Q

7）执行mysql初始化脚本

mysql_secure_installation

8）输入新密码（至少12个字符，至少包含一个大写字母有，一个小写字母，一个数字，一个特殊字符）
9）配置root用户远程访问权限

mysql> grant all privileges on *.* to 'root' @'%' identified by 'Chen.123456';
mysql> flush privileges;

10）为CM安装mysql驱动
将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下，并重命名

2 安装CM

2.1 搭建离线yum源

（1）将压缩包cloudera-repos.tar.gz拷贝到集群中的一台节点，解压到/var/www/html路径下

[root@chen102 ~]# tar -zxvf cloudera-repos.tar.gz -C /var/www/html

（2）进入/var/www/html/路径，并开启http服务

[root@chen102 ~]# cd /var/www/html/
[root@chen102 html]# python -m SimpleHTTPServer 8900

（3）浏览器访问该节点的8900端口，查看http服务是否正常开启
在这里插入图片描述
（4）编辑本地yum源配置文件

vim /etc/yum.repos.d/cloudera-manager.repo

文件内容如下

[cloudera-manager]
name=cloudera-manager
baseurl=http://chen102:8900/cloudera-repos/cm6/6.2.1/redhat7/yum/
enabled=1
gpgcheck=0

（5）分发该配置文件

2.2 安装CM server及agent

[root@chen102 ~]# yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
[root@chen103 ~]# yum -y install cloudera-manager-agent cloudera-manager-daemons
[root@chen104 ~]# yum -y install cloudera-manager-agent cloudera-manager-daemons

2.3 修改CM配置文件

vim /etc/cloudera-scm-agent/config.ini

在这里插入图片描述

2.3 在Mysql中建库

mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

为CM配置数据库（自带脚本）

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root Chen.123456

2.4 启动CM服务

chen102执行

systemctl start cloudera-scm-server

chen102-104执行

systemctl start cloudera-scm-agent

查看Server启动日志

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

看见Started Jetty server即说明启动成功
访问http://hadoop102:7180（初始用户名、密码均为admin）

3 部署CDH集群

欢迎页面
在这里插入图片描述
选择免费版
在这里插入图片描述

3.1 填写安装部署集群名

在这里插入图片描述

3.2 选择物理机节点

在这里插入图片描述

3.3 添加本地parcel库

选择更多选型，添加本地parcel库配置
在这里插入图片描述

3.4 选择CDH版本

在这里插入图片描述

3.5 等待parcel的下载、分配、解压和激活

在这里插入图片描述

3.6 检查集群网络环境

在这里插入图片描述

3.7 群集设置

选择自定义服务，然后选择你想要安装的组件，点击继续即可
在这里插入图片描述

3.8 分配角色实例

在这里插入图片描述

3.9 数据库设置

测试mysql连接是否正常，输入之前安装部署mysql进行连接测试，确保连接成功
在这里插入图片描述

3.10 确认配置

按默认配置即可，点击继续
在这里插入图片描述

3.11 等待安装

等待全部安装完成，点击继续
在这里插入图片描述

3.12 安装完成

在这里插入图片描述
CDH安装完成页面总览
在这里插入图片描述

4 CDH停止规范

4.1 停止集群

在这里插入图片描述
等待所有服务停止完成
在这里插入图片描述

4.2 Cloudera Management Service

在这里插入图片描述
等待成功关闭
在这里插入图片描述

4.3 停止agent

所有节点执行

systemctl stop cloudera-scm-agent

4.4 停止server

chen102节点执行

 systemctl stop cloudera-scm-server

4.4 关闭阿里云主机

选择停机不收费方式，关闭阿里云主机
在这里插入图片描述
接下来是CDH-业务数仓和用户行为数仓搭建，详见《CDH数仓项目(二) —— 用户行为数仓和业务数仓搭建》


http://chatgpt.dhexx.cn/article/lTaBpEWN.shtml

相关文章

CDH5.8安装说明

CDH5.8安装说明

#CDH5.8安装说明 (Hadoop) 使用过Ambari，不知道是因为没有商业运作支撑还是社区活跃度有限，总体管理能力只能算凑合。很多Hadoop组件版本都不高，Spark也才1.3.X，Sqoop还是1.4.6.2.3，相对版本都比较低，而且…
阅读更多...
大数据CDH安装详细教程

大数据CDH安装详细教程

1.环境准备 1.1 服务器配置(理想配置) 1.2 修改主机名和hosts文件(所有节点) [roothadoop001 ~]# vim /etc/hosts vim /etc/hostname1.3 关闭防火墙 systemctl stop firewalld systemctl disable firewalld1.4 SSH免密登录(主节点) ssh-keygen -t rsa #分发到所有节点 ssh…
阅读更多...
CDH6安装

CDH6安装

官方文档 https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation.html 安装之前 JDK兼容性在不同的Cloudera Manager和CDH版本中也有所不同。某些版本的CDH 5与JDK 7和JDK 8兼容。在这种情况下，请确保所有服务都部署在同一主要版本上。例…
阅读更多...
Cloudera(CDH) 简介和在线安装

Cloudera(CDH) 简介和在线安装

实验背景 笔者需要维护线上的hadoop集群环境，考虑在本地搭建一套类似的hadoop集群，便于维护与管理。 Cloudera 简介 经过搜索发现Cloudera产品很适合笔者当前需求，于是开始研究Cloudera（CDH）的安装与使用，参…
阅读更多...
CDH6.3.1安装

CDH6.3.1安装

CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的…
阅读更多...
CDH安装配置

CDH安装配置

Cloudera5.14配置 准备工作 软件下载软件安装 JDK安装 所有节点 安装环境变量配置 sudo vim /etc/profile export JAVA_HOME/usr/java/default export PATH$JAVA_HOME/bin:$PATH 使用root用户 echo "JAVA_HOME/usr/java/default" >> /etc/environment …
阅读更多...
CDH 6.3.2 安装（一）

CDH 6.3.2 安装（一）

目录 一、CDH框架介绍 1、CDH介绍 2、CDH官方网址 3、CDH官方文档 4、CDH集群扩容 5、CDH硬件要求 6、CDH k8s服务开启 二、CDH依赖安装 1、安装通用依赖 2、网络工具安装 3、防火墙服务安装 4、进程树形工具安装 5、其它依赖安装 三、Linux系统配置 1、主机名配…
阅读更多...
CDH安装手册（自整理）

CDH安装手册（自整理）

文章目录 前言1.组件版本2.集群规划（三台服务器为例）3.配置linux静态IP4.修改hosts文件，并实现免密登录5.创建集群分发脚本6.关闭防火墙和SELINUX（所有节点）7.配置NTP时钟同步8.安装jdk和mysql9.搭建本地yum源并安装10…
阅读更多...
安装篇2 - 安装CDH

安装篇2 - 安装CDH

登陆Cloudera Manager平台 http://192.168.60.100:7180 账号密码：admin/admin 1.1 1.2 1.3 免费 2.1 2.2 2.3 2.4 选择CDH和Flink 2.5 将parcel包内的Hadoop，Hive等组件分发到各个节点进行解压激活 2.6 3.1 自行选择 自定义选择Zookeeper&#xff…
阅读更多...
CDH5（CDH 5.16.1）安装

CDH5（CDH 5.16.1）安装

日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用 CDH5（CDH 5.16.1）安装 linux配置 1.…
阅读更多...
CDH 6.3.2 安装（二）

CDH 6.3.2 安装（二）

目录 一、网络配置 1、静态网卡配置 2、网关配置 3、停止networkManager服务 4、重启网卡服务 二、配置静态网卡 1、修改网络配置 2、修改主机名 三、加载MySQL驱动包 1、准备文件 2、下载地址 3、加载MySQL驱动包 四、安装 cloudera-manager-daemons 五、保存当…
阅读更多...
CDH6.3.1安装指南

CDH6.3.1安装指南

CDH安装指南！！！！ CDH简介 CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。 Cloudera Manager的功能&#xff…
阅读更多...
linux安装cdh

linux安装cdh

环境准备： linux版本：阿里云ecs，Red Hat 4.8.5，四台机器（一台主节点，三台从节点） cdh版本：cdh-6.1.0-install-soft.tar.gz，离线安装 java版本： jdk1.8.0_18…
阅读更多...
ClouderaCDH安装配置说明

ClouderaCDH安装配置说明

实验环境 实验环境：Win7下vmware虚拟机 操作系统：CentOS 6.5 x64 Clouder Manager：5.14.0 CDH：5.14.0 安装说明 官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被…
阅读更多...
CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用 CDH5（CDH 5.16.1）安装 CDH 6系列&am…
阅读更多...
CDH6.3.2详细安装

CDH6.3.2详细安装

CDH(Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 CDH优点： 1、提供基于web…
阅读更多...
cdh安装及配置

cdh安装及配置

一、修改linux主机名称 vim /etc/sysconfig/network 三台虚拟机修改后重启 centos7修改方法： [rootcentos7 ~]$ hostnamectl set-hostname 要修改的主机名.magedu.com # 使用这个命令会立即生效且重启也…
阅读更多...
cdh6.3.2安装

cdh6.3.2安装

1. 数仓之Cloudera Manager 1.1 CM简介 1.1.1 CM简介 Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理…
阅读更多...
CDH的安装与部署

CDH的安装与部署

1.基础环境准备 1.1创建一个新的虚拟机 1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚…
阅读更多...
cdh安装教程

cdh安装教程

CDH免费版最高版本提供到了6.3.2，从6.3.3开始不提供免费版，为此整理了cdh6.3.2的离线安装包，大家可以点此下载：CDH6.3.2 安装大体思路是将rpm压缩包解压到某个节点的本地目录，然后在这个节点开启http服务，…
阅读更多...
推荐文章

Copyright @ 2022~2023