CDH 6.3.2 安装（一）

article/2025/11/6 14:54:28

目录

一、CDH框架介绍

1、CDH介绍

2、CDH官方网址

3、CDH官方文档

4、CDH集群扩容

5、CDH硬件要求

6、CDH k8s服务开启

二、CDH依赖安装 

1、安装通用依赖

  2、网络工具安装

3、防火墙服务安装

4、进程树形工具安装

5、其它依赖安装

三、Linux系统配置

1、主机名配置

2、host 配置

3、域名解析器配置

4、禁用ipv6网络协议

5、关闭防火墙服务

6、关闭SELINUX

7、Linux内核设置

四、Java环境安装

1、下载Java安装包

2、解压安装Java

3、创建软链接

4、环境变量配置

5、验证Java环境

五、NTP和HTTP服务配置

1、NTP服务配置 

 2、HTTP服务配置

六、MySQL数据库安装

1、MySQL下载

2、MySQL安装

3、MySQL配置

4、设置MySQL开机自启

5、启动MySQL服务

6、设置MySQL密码

7、安装MySQL驱动

8、创建CDH需要的数据库

 

一、CDH框架介绍

1、CDH介绍

       Cloudera Hadoop大数据平台（简称CDH）包含了目前市面上几乎所有的大数据组件，例如HDFS分布式文件系统、MapReduce计算框架、资源管理调度框架YARN 、Hive数据仓库、数据迁移工具Sqoop、分布式数据库HBase、ZooKeeper分布式协调服务、准实时分析系统Impala、日志采集工具Flume、分布式消息系统Kafka、Spark计算框架等。

2、CDH官方网址

Cloudera | The Hybrid Data Cloud Company

3、CDH官方文档

Before You Install | 6.3.x | Cloudera Documentation

4、CDH集群扩容

Adding a Host to the Cluster | 6.3.x | Cloudera Documentation

5、CDH硬件要求

Hardware Requirements | 6.x | Cloudera Documentation

6、CDH k8s服务开启

Configuring Authentication in Cloudera Manager | 6.3.x | Cloudera Documentation

二、CDH依赖安装 

1、安装通用依赖

yum update
yum -y install vim wget lrzsz iptables-services curl sudo chkconfig gcc gcc-c++

  2、网络工具安装

yum -y install net-tools
ipconfig
ip addr

3、防火墙服务安装

yum -y install iptables-services

4、进程树形工具安装

yum -y install psmisc
pstree -aup

5、其它依赖安装

yum -y install fop lsb bison flex readline-devel zlib-devel python libxslt-devel python-devel psmisc zlib sqlite cyrus-sasl-plain postgresql-libs.x86_64 cyrus-sasl-gssapi fuse fuse-libs redhat-lsb openssl-devel docbook-dtds docbook-style-xsl libxslt perl bind-utils portmap mod_ssl python-psycopg2 MySQL-python

三、Linux系统配置

1、主机名配置

hostnamectl set-hostname cdh1
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=cdh1
cat /etc/sysconfig/network

2、host 配置

mv /etc/hosts /etc/hosts.init
vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.232.131 cdh1
192.168.232.132 cdh2
192.168.232.133 cdh3
192.168.232.134 cdh4
192.168.232.135 cdh5
192.168.232.136 cdh6

3、域名解析器配置

        DNS（Domain Name System）是域名解析服务器的意思，它在互联网的作用是把域名转换成为网络可以识别的IP地址。当用户在浏览器中输入网址域名时，首先就会访问系统设置的DNS域名解析服务器（通常由ISP运营商如电信、网通提供）。如果该服务器内保存着该域名对应的IP信息，则直接返回该信息供用户访问网站。否则，就会向上级DNS逐层查找该域名的对应数据。

常见的DNS服务器地址如下： 

223.5.5.5 阿里公用的DNS服务器
180.76.76.76 百度公共DNS解析服务
114.114.114.114 国内移动、联通和电信通用的DNS服务
8.8.8.8 Google公司提供的全球通用的DNS服务，适合国外以及访问国外网站的用户

echo '
nameserver 114.114.114.114
nameserver 8.8.8.8' >> /etc/resolv.conf

4、禁用ipv6网络协议

cp /etc/sysctl.conf /etc/sysctl.conf.init
echo -e "
# 禁用整个系统所有接口的IPv6
net.ipv6.conf.all.disable_ipv6 = 1
# 禁用某一个指定接口的IPv6（eth0，lo）
net.ipv6.conf.lo.disable_ipv6 = 1
net.ipv6.conf.eth0.disable_ipv6 = 1
" >> /etc/sysctl.conf

重启sysctl

sudo sysctl -p

5、关闭防火墙服务

service iptables stop

禁止防火墙开机自启

systemctl stop firewalld.service
systemctl disable firewalld.service

 查看防火墙状态

service iptables status
systemctl status firewalld.service

6、关闭SELINUX

setenforce 0

vim /etc/selinux/config

将 SELINUX=enforcing 改成 SELINUX=disable

reboot

 修改之后重启服务器配置生效

7、Linux内核设置

CDH官网推荐的Linux内核设置

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /etc/rc.local
sysctl vm.swappiness=10
echo 'vm.swappiness=10'>> /etc/sysctl.conf
cat /proc/sys/vm/swappiness
yum -y install krb5-workstation krb5-libs

四、Java环境安装

1、下载Java安装包

下载 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

mkdir /usr/java $$ ​cd /usr/java/

2、解压安装Java

 将下载的 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 上传到 /usr/java目录下，并解压

rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

3、创建软链接

ln -s /usr/java/jdk1.8.0_181-cloudera /usr/java/jdk1.8

4、环境变量配置

echo '
## Java config
export JAVA_HOME=/usr/java/jdk1.8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=${JAVA_HOME}/bin:${PATH}:${CLASSPATH}' >> /etc/profile
source /etc/profile

5、验证Java环境

java -version
whereis java
which java

 

五、NTP和HTTP服务配置

1、NTP服务配置 

（1）安装 NTP 模块

yum -y install ntp

（2）设置开机自启 

chkconfig ntpd on
systemctl is-enabled ntpd

（3）设置 NTP 服务

ntpdate -u ntp.aliyun.com

（4）设置 NTP 定时任务（非必须）

方法一：crontab命令同步

半个小时同步一次

crontab -e
0,30 * * * * ntpdate -u ntp.aliyun.com

方法二：/etc/crontab配置同步

或者将命令添加到 /etc/crontab文件中（非必须）

echo '0,30 * * * * root ntpdate -u ntp.aliyun.com' >> /etc/crontab
cat /etc/crontab

 2、HTTP服务配置

（1）安装HTTP服务

CM的管理方式是通过Web请求访问管理的，因此需要在主节点上安装HTTP服务

yum -y install httpd

（2）启动http服务

service httpd start

（3）设置http开机自启 

systemctl enable httpd.service
chkconfig httpd on

（4）查看是否开机自启

systemctl is-enabled httpd.service
systemctl is-active httpd

六、MySQL数据库安装

CDH官方安装文档：Install and Configure MySQL for Cloudera Software | 6.3.x | Cloudera Documentation

1、MySQL下载

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

2、MySQL安装

rpm -Uvh mysql-community-release-el7-5.noarch.rpm
yum install mysql-server
systemctl start mysqld
systemctl stop mysqld

3、MySQL配置

mv /etc/my.cnf /etc/my.cnf.init
vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0key_buffer_size = 32M
max_allowed_packet = 16M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1max_connections = 1000
#expire_logs_days = 10
#max_binlog_size = 100M#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1binlog_format = mixedread_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pidsql_mode=STRICT_ALL_TABLES

4、设置MySQL开机自启

systemctl enable mysqld

5、启动MySQL服务

systemctl start mysqld

6、设置MySQL密码

/usr/bin/mysql_secure_installation
  1. [...]
Enter current password for root (enter for none):
OK, successfully used password, moving on...
[...]
Set root password? [Y/n] Y
New password:
Re-enter new password:
Remove anonymous users? [Y/n] Y
[...]
Disallow root login remotely? [Y/n] N
[...]
Remove test database and access to it [Y/n] Y
[...]
Reload privilege tables now? [Y/n] Y
All done!

如果已经登录MySQL则使用PASSWORD命令修改

set password=PASSWORD('root');

7、安装MySQL驱动

https://mvnrepository.com/artifact/mysql/mysql-connector-java

wget -P /usr/share/ https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.46/mysql-connector-java-5.1.46.jar

8、创建CDH需要的数据库

mysql -u root -p
##DROP DATABASE scm;
##DROP USER scm;CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';GRANT ALL ON *.* TO 'root'@'%' IDENTIFIED BY 'root';flush privileges;

CDH依赖的组件和对应的数据库名和用户如下图 

show databases;

接下来直接复制虚拟机安装Cloudera Manager Server&Agent 

CDH 6.3.2 安装（一）：CDH 6.3.2 安装（一）_qq262593421的博客-CSDN博客_cdh6.3.2

CDH 6.3.2 安装（二）：CDH 6.3.2 安装（二）_qq262593421的博客-CSDN博客_cdh6.3.2


http://chatgpt.dhexx.cn/article/yVqyZMk4.shtml

相关文章

CDH安装手册（自整理）

CDH安装手册（自整理）

文章目录 前言1.组件版本2.集群规划（三台服务器为例）3.配置linux静态IP4.修改hosts文件，并实现免密登录5.创建集群分发脚本6.关闭防火墙和SELINUX（所有节点）7.配置NTP时钟同步8.安装jdk和mysql9.搭建本地yum源并安装10…
阅读更多...
安装篇2 - 安装CDH

安装篇2 - 安装CDH

登陆Cloudera Manager平台 http://192.168.60.100:7180 账号密码：admin/admin 1.1 1.2 1.3 免费 2.1 2.2 2.3 2.4 选择CDH和Flink 2.5 将parcel包内的Hadoop，Hive等组件分发到各个节点进行解压激活 2.6 3.1 自行选择 自定义选择Zookeeper&#xff…
阅读更多...
CDH5（CDH 5.16.1）安装

CDH5（CDH 5.16.1）安装

日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用 CDH5（CDH 5.16.1）安装 linux配置 1.…
阅读更多...
CDH 6.3.2 安装（二）

CDH 6.3.2 安装（二）

目录 一、网络配置 1、静态网卡配置 2、网关配置 3、停止networkManager服务 4、重启网卡服务 二、配置静态网卡 1、修改网络配置 2、修改主机名 三、加载MySQL驱动包 1、准备文件 2、下载地址 3、加载MySQL驱动包 四、安装 cloudera-manager-daemons 五、保存当…
阅读更多...
CDH6.3.1安装指南

CDH6.3.1安装指南

CDH安装指南！！！！ CDH简介 CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。 Cloudera Manager的功能&#xff…
阅读更多...
linux安装cdh

linux安装cdh

环境准备： linux版本：阿里云ecs，Red Hat 4.8.5，四台机器（一台主节点，三台从节点） cdh版本：cdh-6.1.0-install-soft.tar.gz，离线安装 java版本： jdk1.8.0_18…
阅读更多...
ClouderaCDH安装配置说明

ClouderaCDH安装配置说明

实验环境 实验环境：Win7下vmware虚拟机 操作系统：CentOS 6.5 x64 Clouder Manager：5.14.0 CDH：5.14.0 安装说明 官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被…
阅读更多...
CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用

日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） CDH 6系列（CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等）安装和使用 CDH5（CDH 5.16.1）安装 CDH 6系列&am…
阅读更多...
CDH6.3.2详细安装

CDH6.3.2详细安装

CDH(Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 CDH优点： 1、提供基于web…
阅读更多...
cdh安装及配置

cdh安装及配置

一、修改linux主机名称 vim /etc/sysconfig/network 三台虚拟机修改后重启 centos7修改方法： [rootcentos7 ~]$ hostnamectl set-hostname 要修改的主机名.magedu.com # 使用这个命令会立即生效且重启也…
阅读更多...
cdh6.3.2安装

cdh6.3.2安装

1. 数仓之Cloudera Manager 1.1 CM简介 1.1.1 CM简介 Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理…
阅读更多...
CDH的安装与部署

CDH的安装与部署

1.基础环境准备 1.1创建一个新的虚拟机 1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚…
阅读更多...
cdh安装教程

cdh安装教程

CDH免费版最高版本提供到了6.3.2，从6.3.3开始不提供免费版，为此整理了cdh6.3.2的离线安装包，大家可以点此下载：CDH6.3.2 安装大体思路是将rpm压缩包解压到某个节点的本地目录，然后在这个节点开启http服务，…
阅读更多...
cdh平台安装详细教程

cdh平台安装详细教程

CDH安装文档目录 文章目录 0、准备1、配置免密码登录2、配置环境变量2.1、配置主机名，安装JDK2.2、安装mysql2.2.1、查看mysql是否安装2.2.2、主节点安装mysql 2.4、NTP安装 3、CDH Manager包文件文件上传分发4、CDH5的安装配置5、hdfs的高可用配置6、kafka安装7、…
阅读更多...
大数据之cdh集群安装

大数据之cdh集群安装

安装前的准备工作 配置主机名、hosts、开启PermitRootLogin、设置密码 、做免密 、java环境变量、时间同步 安装过程概述（Ubuntu18.04安装） (centos7离线安装参考https://www.cnblogs.com/swordfall/p/10816797.html) http://ro-bucharest-repo.bigs…
阅读更多...
CDH6.x安装教程(附带整合kerberos)

CDH6.x安装教程(附带整合kerberos)

CDH从6.3.3版开始不再免费，6.3.2及以下版本可免费使用，大家如有需要可联系我索取安装包。 安装步骤总览： 1、配置服务器系统基础环境 2、配置本地仓库 3、安装数据库 4、安装CM 5、添加大数据服务 CDH基本架构简述： CDH主要…
阅读更多...
CDH安装部署步骤

CDH安装部署步骤

CDH下载地址： CDH5.4： http://archive.cloudera.com/cdh5/ Cloudera Manager5.4.3: http://www.cloudera.com/downloads/manager/5-4-3.html 准备工作：（linux必须是64位的） 安装CDH之前，我们需要安装一…
阅读更多...
CDH安装配置（详细说明）

CDH安装配置（详细说明）

从网上看了很多的资料，填了不少的坑。总结一下。（这篇是整合网络的资料自己的坑） 关于CDH和Cloudera Manager CDH (Clouderas Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护&…
阅读更多...
CDH的安装详细步骤

CDH的安装详细步骤

目录 目录 第1章 配置环境 1.1.准备阶段 1.1.1.服务器 1.1.2.操作系统 1.2.安装配置 1.2.1.安装操作系统 1.2.2.配置操作系统 1.2.3.安装Oracle JDK （所有节点） 1.2.4.配置SSH免密 1.2.5.安装配置mysql 1.2.6. NTP时间同步 第2章 安装CDH …
阅读更多...
CDH6.2.0详细安装步骤

CDH6.2.0详细安装步骤

CDH6.2.0版本安装指南 1. 准备集群 本文档使用的是三台虚拟机，IP和主机名自行修改，三台虚拟机需要能联网，并且能够免密登录，这些网上都能找到详细的教程，有问题也可以底部留言交流。 ip名称内存xxx.xx.x.169node16916…
阅读更多...
推荐文章

Copyright @ 2022~2023