CDH安装手册（自整理）

article/2025/11/6 14:48:46

文章目录

  • 前言
  • 1.组件版本
  • 2.集群规划（三台服务器为例）
  • 3.配置linux静态IP
  • 4.修改hosts文件，并实现免密登录
  • 5.创建集群分发脚本
  • 6.关闭防火墙和SELINUX（所有节点）
  • 7.配置NTP时钟同步
  • 8.安装jdk和mysql
  • 9.搭建本地yum源并安装
  • 10.在数据库中建库
  • 11.启动服务
  • 12.访问网页及集群操作
  • 总结

前言

Cloudera’s Distribution Including Apache Hadoop。简称CDH，解决了原生Apache hadoop版本管理混乱、部署过程繁琐、升级过程复杂、兼容性差、安全性低等缺点，能够对集群进行集中的管理和运维。其内各服务组件的安装也是非常的简单。通过的web页面也是极大的方便了人们对于集群状态的查看。
本菜鸟QQ：599903582
笨鸟先飞，熟能生巧 ~
比心心 ~

提示：以下是本篇文章正文内容，下面案例可供参考

1.组件版本

Centos7
Mysql 5.7.25
Jdk1.8.0_144
Cm6.3.1
Cdh6.3.2

2.集群规划（三台服务器为例）

3.配置linux静态IP

IPADDR=192.168.2.201
GATEWAY=192.168.2.1
DNS1=8.8.8.8

在这里插入图片描述

4.修改hosts文件，并实现免密登录

在这里插入图片描述

[xu@node1 ~]$ ssh-keygen -t rsa[xu@node1 ~]$ ssh-copy-id node1
[xu@node1 ~]$ ssh-copy-id node2
[xu@node1 ~]$ ssh-copy-id node3

5.创建集群分发脚本

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir#4 获取当前用户名称
user=`whoami`#5 循环
for((host=1; host<=3; host++)); doecho ------------------- node$host --------------rsync -av $pdir/$fname $user@node$host:$pdir
done

6.关闭防火墙和SELINUX（所有节点）

修改配置文件/etc/selinux/config
[root@node1 bin]# vim /etc/selinux/config将SELINUX=enforcing 改为SELINUX=disabled，然后将该文件分发；
需要重启关闭防火墙
[root@node1 selinux]# systemctl stop firewalld.service 
[root@node1 selinux]# systemctl disable firewalld.service

7.配置NTP时钟同步

1）NTP服务端配置
[root@node1 ~]# vi /etc/ntp.conf
注释掉所有的restrict开头的配置
修改#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
为restrict 192.168.2.201 mask 255.255.255.0 nomodify notrap
将所有server配置进行注释
添加下面两行内容
server 127.127.1.0
fudge 127.127.1.0 stratum 102）启动NTP服务 service ntpd start
[root@node1~]# service ntpd start3）NTP客户端配置（在agent主机上进行配置node2，node3）
[root@hadoop103 ~]# vi /etc/ntp.conf注释所有restrict和server配置
添加server 192.168.2.2014）手动测试
[root@hadoop103~]# ntpdate 192.168.2.201
显示如下内容为成功：
17 Jun 15:34:38 ntpdate[9247]: step time server 192.168.1.102 offset 77556618.173854 sec
如果显示如下内容需要先关闭ntpd：
17 Jun 15:25:42 ntpdate[8885]: the NTP socket is in use, exiting5）启动ntpd并设置为开机自启（每个节点node1，node2，node3）
[root@node2 ~]#  chkconfig ntpd on
[root@node2 ~]#  service ntpd start
6）使用群发date命令查看结果

8.安装jdk和mysql

安装JDK（三台）
1）在node1创建/usr/java目录
[root@node1 opt]# mkdir /usr/java    （cloudera会到该目录下寻找JDK，即使配置java_home也不行）
2）用Xshell将jdk-8u144-linux-x64.tar.gz上传至hadoop102，并解压到/usr/java目录下。
[root@node1 ~]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java/
3）配置JAVA_HOME环境变量
（1）打开/etc/profile文件
[root@node1 software]$ vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
（2）让修改后的文件生效
[root@node1 jdk1.8.0_144]$ source /etc/profile
4）测试JDK是否安装成功
[root@node1 jdk1.8.0_144]# java -version
java version "1.8.0_144"
5）将node1中的JDK和环境变量分发到node2、node3两台主机
[root@node1 opt]# xsync /usr/java/
[root@node1 opt]# xsync /etc/profile分别在node2、node3上source一下
[root@node2 ~]$ source /etc/profile
[root@node3 ~]# source /etc/profile

安装MySQL及其驱动
mysql要安装在master中。
卸载原有的Maradb和Mysqlrpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs
rpm -qa | grep mysql

在这里插入图片描述

解压之后 
rpm -Uvh *.rpm --nodeps --force1.首先关闭mysql服务  service mysqld stop
2.修改配置文件  vim /etc/my.cnf  添加skip-grant-tables
3.即可实现空密码登录
4.登录后先 flush privileges 改密码  set password for root@localhost = password('123456');
5.设置远程登录
6.重启mysql并设置为开机自启

9.搭建本地yum源并安装

[root@master ~]# yum -y install httpd 
[root@master ~]# service httpd restart 
Redirecting to /bin/systemctl restart httpd.service 
[root@master ~]# chkconfig httpd on编辑本地yum源配置文件，如果是纯没有网络的环境，需要将Centos-Base.repo改名
vim /etc/yum.repos.d/cloudera-manager.repo
文件内容如下
[cloudera-manager]
name=cloudera-manager
baseurl=http://192.168.2.201/cm6.3.1/
enabled=1
gpgcheck=0然后使用之前编写的分发脚本分发该配置文件；yum clean all
yum repolist
yum makecache三个节点进行安装：
[root@node1 ~]# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
[root@node2 ~]# yum install cloudera-manager-agent cloudera-manager-daemons
[root@node3 ~]# yum install cloudera-manager-agent cloudera-manager-daemons报错：缺少一些环境，手动下载rpm包进行安装即可。修改配置文件：
vim /etc/cloudera-scm-agent/config.ini

在这里插入图片描述

10.在数据库中建库

1）创建各组件需要的数据库
mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;2）为CM配置数据库（自带脚本）下载数据库连接驱动：https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz全部节点：并将jar包放在 /usr/share/java中。并改名为 mysql-connector-java.jar将jar包拷贝
cp mysql-connector-java.jar /opt/cloudera/cm/schema/../lib//opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root 123456
// scm 是数据库

11.启动服务

[root@node1 ~]# systemctl start cloudera-scm-server[root@node1 ~]# systemctl start cloudera-scm-agent[root@node2 ~]# systemctl start cloudera-scm-agent[root@node3 ~]# systemctl start cloudera-scm-agent

12.访问网页及集群操作

通过 https://node1:7180 进行访问 用户和密码都是admin
在这里插入图片描述
在这里插入图片描述
使用本地的Parcel;
在这里插入图片描述
在这里插入图片描述
Hive的元数据需要放在安装mysql的Node1上。

总结

CDH的使用极大的方便了人们对于集群的操作。对于硬件的要求相对来说比较高，建议使用阿里云服务器来进行安装学习。
本菜鸟QQ：599903582
笨鸟先飞，熟能生巧 ~
比心心 ~


http://chatgpt.dhexx.cn/article/Vx8hCK5l.shtml

相关文章

安装篇2 - 安装CDH

安装篇2 - 安装CDH

登陆Cloudera Manager平台 http://192.168.60.100:7180 账号密码&#xff1a;admin/admin 1.1 1.2 1.3 免费 2.1 2.2 2.3 2.4 选择CDH和Flink 2.5 将parcel包内的Hadoop&#xff0c;Hive等组件分发到各个节点进行解压激活 2.6 3.1 自行选择 自定义选择Zookeeper&#xff…
阅读更多...
CDH5（CDH 5.16.1）安装

CDH5（CDH 5.16.1）安装

日萌社 人工智能AI&#xff1a;Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战&#xff08;不定时更新&#xff09; CDH 6系列&#xff08;CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等&#xff09;安装和使用 CDH5&#xff08;CDH 5.16.1&#xff09;安装 linux配置 1.…
阅读更多...
CDH 6.3.2 安装（二）

CDH 6.3.2 安装（二）

目录 一、网络配置 1、静态网卡配置 2、网关配置 3、停止networkManager服务 4、重启网卡服务 二、配置静态网卡 1、修改网络配置 2、修改主机名 三、加载MySQL驱动包 1、准备文件 2、下载地址 3、加载MySQL驱动包 四、安装 cloudera-manager-daemons 五、保存当…
阅读更多...
CDH6.3.1安装指南

CDH6.3.1安装指南

CDH安装指南&#xff01;&#xff01;&#xff01;&#xff01; CDH简介 CDH基于Web的用户界面,支持大多数Hadoop组件&#xff0c;包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop&#xff0c;简化了大数据平台的安装、使用难度。 Cloudera Manager的功能&#xff…
阅读更多...
linux安装cdh

linux安装cdh

环境准备&#xff1a; linux版本&#xff1a;阿里云ecs&#xff0c;Red Hat 4.8.5&#xff0c;四台机器&#xff08;一台主节点&#xff0c;三台从节点&#xff09; cdh版本&#xff1a;cdh-6.1.0-install-soft.tar.gz&#xff0c;离线安装 java版本&#xff1a; jdk1.8.0_18…
阅读更多...
ClouderaCDH安装配置说明

ClouderaCDH安装配置说明

实验环境 实验环境&#xff1a;Win7下vmware虚拟机 操作系统&#xff1a;CentOS 6.5 x64 Clouder Manager&#xff1a;5.14.0 CDH&#xff1a;5.14.0 安装说明 官方共给出了3中安装方式&#xff1a;第一种方法必须要求所有机器都能连网&#xff0c;由于最近各种国外的网站被…
阅读更多...
CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

日萌社 人工智能AI&#xff1a;Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战&#xff08;不定时更新&#xff09; CDH 6系列&#xff08;CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等&#xff09;安装和使用 CDH5&#xff08;CDH 5.16.1&#xff09;安装 CDH 6系列&am…
阅读更多...
CDH6.3.2详细安装

CDH6.3.2详细安装

CDH(Cloudera’s Distribution, including Apache Hadoop)&#xff0c;是Hadoop众多分支中的一种&#xff0c;由Cloudera维护&#xff0c;基于稳定版本的Apache Hadoop构建&#xff0c;并集成了很多补丁&#xff0c;可直接用于生产环境。 CDH优点&#xff1a; 1、提供基于web…
阅读更多...
cdh安装及配置

cdh安装及配置

一、修改linux主机名称 vim /etc/sysconfig/network 三台虚拟机修改后重启 centos7修改方法&#xff1a; [rootcentos7 ~]$ hostnamectl set-hostname 要修改的主机名.magedu.com # 使用这个命令会立即生效且重启也…
阅读更多...
cdh6.3.2安装

cdh6.3.2安装

1. 数仓之Cloudera Manager 1.1 CM简介 1.1.1 CM简介 Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具&#xff0c;使得安装集群从几天的时间缩短在几个小时内&#xff0c;运维人员从数十人降低到几人以内&#xff0c;极大的提高集群管理…
阅读更多...
CDH的安装与部署

CDH的安装与部署

1.基础环境准备 1.1创建一个新的虚拟机 1.2安装虚拟机&#xff0c;设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚…
阅读更多...
cdh安装教程

cdh安装教程

CDH免费版最高版本提供到了6.3.2&#xff0c;从6.3.3开始不提供免费版&#xff0c;为此整理了cdh6.3.2的离线安装包&#xff0c;大家可以点此下载&#xff1a;CDH6.3.2 安装大体思路是将rpm压缩包解压到某个节点的本地目录&#xff0c;然后在这个节点开启http服务&#xff0c;…
阅读更多...
cdh平台安装详细教程

cdh平台安装详细教程

CDH安装文档目录 文章目录 0、准备1、配置免密码登录2、配置环境变量2.1、配置主机名&#xff0c;安装JDK2.2、安装mysql2.2.1、查看mysql是否安装2.2.2、主节点安装mysql 2.4、NTP安装 3、CDH Manager包文件文件上传分发4、CDH5的安装配置5、hdfs的高可用配置6、kafka安装7、…
阅读更多...
大数据之cdh集群安装

大数据之cdh集群安装

安装前的准备工作 配置主机名、hosts、开启PermitRootLogin、设置密码 、做免密 、java环境变量、时间同步 安装过程概述&#xff08;Ubuntu18.04安装&#xff09; (centos7离线安装参考https://www.cnblogs.com/swordfall/p/10816797.html) http://ro-bucharest-repo.bigs…
阅读更多...
CDH6.x安装教程(附带整合kerberos)

CDH6.x安装教程(附带整合kerberos)

CDH从6.3.3版开始不再免费&#xff0c;6.3.2及以下版本可免费使用&#xff0c;大家如有需要可联系我索取安装包。 安装步骤总览&#xff1a; 1、配置服务器系统基础环境 2、配置本地仓库 3、安装数据库 4、安装CM 5、添加大数据服务 CDH基本架构简述&#xff1a; CDH主要…
阅读更多...
CDH安装部署步骤

CDH安装部署步骤

CDH下载地址&#xff1a; CDH5.4&#xff1a; http://archive.cloudera.com/cdh5/ Cloudera Manager5.4.3: http://www.cloudera.com/downloads/manager/5-4-3.html 准备工作&#xff1a;&#xff08;linux必须是64位的&#xff09; 安装CDH之前&#xff0c;我们需要安装一…
阅读更多...
CDH安装配置（详细说明）

CDH安装配置（详细说明）

从网上看了很多的资料&#xff0c;填了不少的坑。总结一下。&#xff08;这篇是整合网络的资料自己的坑&#xff09; 关于CDH和Cloudera Manager CDH (Clouderas Distribution, including Apache Hadoop)&#xff0c;是Hadoop众多分支中的一种&#xff0c;由Cloudera维护&…
阅读更多...
CDH的安装详细步骤

CDH的安装详细步骤

目录 目录 第1章 配置环境 1.1.准备阶段 1.1.1.服务器 1.1.2.操作系统 1.2.安装配置 1.2.1.安装操作系统 1.2.2.配置操作系统 1.2.3.安装Oracle JDK &#xff08;所有节点&#xff09; 1.2.4.配置SSH免密 1.2.5.安装配置mysql 1.2.6. NTP时间同步 第2章 安装CDH …
阅读更多...
CDH6.2.0详细安装步骤

CDH6.2.0详细安装步骤

CDH6.2.0版本安装指南 1. 准备集群 本文档使用的是三台虚拟机&#xff0c;IP和主机名自行修改&#xff0c;三台虚拟机需要能联网&#xff0c;并且能够免密登录&#xff0c;这些网上都能找到详细的教程&#xff0c;有问题也可以底部留言交流。 ip名称内存xxx.xx.x.169node16916…
阅读更多...
俗话说：学好c语言，走遍天下都不怕

俗话说：学好c语言，走遍天下都不怕

c语言的重要性 C语言产生于1972年&#xff0c;是计算机的一种高级语言&#xff0c;目前在国际上还是很流行的&#xff0c;因为它具有低级程序语言的功能&#xff0c;所以也有人说它是中级语言。 对于大多数程序员来说。C语言是学习编程的第一门语言&#xff0c;也可以说是入门…
阅读更多...
推荐文章

Copyright @ 2022~2023