CDH 6.3.1安装

article/2025/10/3 7:08:37

一、准备工作

1 安装lrzsz

[root@hadoop001 ~]# yum -y install lrzsz 
[root@hadoop002 ~]# yum -y install lrzsz
[root@hadoop003 ~]# yum -y install lrzsz

在这里插入图片描述

2 上传安装文件

[root@hadoop001 ~]# rz[root@hadoop001 cdh63]# ll -h
total 3.9G
-rw-r--r-- 1 root root 2.0G Oct 28 11:54 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel
-rw-r--r-- 1 root root   40 Oct 28 11:47 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
-rw-r--r-- 1 root root 1.4G Oct 28 19:22 cm6.3.1-redhat7.tar.gz
-rw-r--r-- 1 root root  78M Oct 28 19:24 jre-8u181-linux-x64.tar.gz
-rw-r--r-- 1 root root  34K Oct 28 11:48 manifest.json
-rw-r--r-- 1 root root 523M Oct 28 19:24 mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz
-rw-r--r-- 1 root root 984K Oct 28 11:49 mysql-connector-java-5.1.47.jar

3 修改文件名

CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 这个去掉 1 的后缀。若不去掉，cdh认为文件没有下载完成，会重新从官网下载

[root@hadoop001 cdh63]# mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha

mysql-connector-java-5.1.47.jar，不去掉版本号，cdh会找不到mysql - connector

[root@hadoop001 cdh63]# mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar将mysql-connector 传到 cdh server所在的机器
[root@hadoop003 cdh63]# mkdir -p /usr/share/java/
[root@hadoop003 cdh63]# cp mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar

在CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel中 bin 目录下，有关于mysql-connector的配置

statestored 中有这种设置/usr/share/java/mysql-connector-java.jar
export MYSQL_CONNECTOR_JAR=${MYSQL_CONNECTOR_JAR:-/usr/share/java/mysql-connector-java.jar}catalogd 中有这种设置/usr/share/java/mysql-connector-java.jar
export MYSQL_CONNECTOR_JAR=${MYSQL_CONNECTOR_JAR:-/usr/share/java/mysql-connector-java.jar}impalad 中有这种设置/usr/share/java/mysql-connector-java.jar
export MYSQL_CONNECTOR_JAR=${MYSQL_CONNECTOR_JAR:-/usr/share/java/mysql-connector-java.jar}

在这里插入图片描述

二.集群节点初始化

1 配置 /etc/hosts

echo "172.26.251.196 hadoop001">> /etc/hosts 
echo "172.26.251.195 hadoop002">> /etc/hosts 
echo "172.26.251.194 hadoop003">> /etc/hosts 

[root@hadoop001 ~]# echo "172.26.251.196 hadoop001">> /etc/hosts 
[root@hadoop001 ~]# echo "172.26.251.195 hadoop002">> /etc/hosts 
[root@hadoop001 ~]# echo "172.26.251.194 hadoop003">> /etc/hosts[root@hadoop002 ~]# echo "172.26.251.196 hadoop001">> /etc/hosts 
[root@hadoop002 ~]# echo "172.26.251.195 hadoop002">> /etc/hosts 
[root@hadoop002 ~]# echo "172.26.251.194 hadoop003">> /etc/hosts[root@hadoop003 ~]# echo "172.26.251.196 hadoop001">> /etc/hosts 
[root@hadoop003 ~]# echo "172.26.251.195 hadoop002">> /etc/hosts 
[root@hadoop003 ~]# echo "172.26.251.194 hadoop003">> /etc/hosts

2 关闭所有节点的防火墙及清空规则

systemctl stop firewalld 
systemctl disable firewalld 
iptables -F

[root@hadoop001 bin]# systemctl stop firewalld 
[root@hadoop001 bin]# systemctl disable firewalld 
[root@hadoop001 bin]# iptables -F[root@hadoop002 bin]# systemctl stop firewalld 
[root@hadoop002 bin]# systemctl disable firewalld 
[root@hadoop002 bin]# iptables -F[root@hadoop003 bin]# systemctl stop firewalld 
[root@hadoop003 bin]# systemctl disable firewalld 
[root@hadoop003 bin]# iptables -F

3 每个节点部署JDK

1）新建 /usr/java
[root@hadoop001 ~]# mkdir /usr/java
[root@hadoop002 ~]# mkdir /usr/java
[root@hadoop003 ~]# mkdir /usr/java
2） 解压
[root@hadoop001 ~]# tar -xzvf jre-8u181-linux-x64.tar.gz -C /usr/java/
[root@hadoop002 ~]# tar -xzvf jre-8u181-linux-x64.tar.gz -C /usr/java/
[root@hadoop003 ~]# tar -xzvf jre-8u181-linux-x64.tar.gz -C /usr/java/
3）修正所属用户及用户组
[root@hadoop003 java]# ll
total 4
drwxr-xr-x 6 10 143 4096 Jul  7  2018 jre1.8.0_181[root@hadoop001 java]# chown -R root:root /usr/java/jre1.8.0_181
[root@hadoop002 java]# chown -R root:root /usr/java/jre1.8.0_181
[root@hadoop003 java]# chown -R root:root /usr/java/jre1.8.0_181[root@hadoop003 java]# ll
total 4
drwxr-xr-x 6 root root 4096 Jul  7  2018 jre1.8.0_181
4）配置jdk环境
[root@hadoop001 jre1.8.0_181]# echo "export JAVA_HOME=/usr/java/jre1.8.0_181" >> /etc/profile 
[root@hadoop001 jre1.8.0_181]# echo "export PATH=/usr/java/jre1.8.0_181/bin:${PATH}" >> /etc/profile 
[root@hadoop001 jre1.8.0_181]# source /etc/profile 
[root@hadoop001 jre1.8.0_181]# which java
/usr/java/jre1.8.0_181/bin/java[root@hadoop002 jre1.8.0_181]# echo "export JAVA_HOME=/usr/java/jre1.8.0_181" >> /etc/profile 
[root@hadoop002 jre1.8.0_181]# echo "export PATH=/usr/java/jre1.8.0_181/bin:${PATH}" >> /etc/profile 
[root@hadoop002 jre1.8.0_181]# source /etc/profile 
[root@hadoop002 jre1.8.0_181]# which java
/usr/java/jre1.8.0_181/bin/java[root@hadoop003 jre1.8.0_181]# echo "export JAVA_HOME=/usr/java/jre1.8.0_181" >> /etc/profile 
[root@hadoop003 jre1.8.0_181]# echo "export PATH=/usr/java/jre1.8.0_181/bin:${PATH}" >> /etc/profile 
[root@hadoop003 jre1.8.0_181]# source /etc/profile 
[root@hadoop003 jre1.8.0_181]# which java
/usr/java/jre1.8.0_181/bin/java

4 部署 mysql

mysql选择部署在第三台机器上 hadoop003

5 创建CDH的元数据库和用户、amon服务的数据库及用户

切换用户
[root@hadoop003 cdh63]# sudo su - mysqladmin
启动mysql服务
hadoop003:mysqladmin:/usr/local/mysql:>service mysql restart
登录msyql
hadoop003:mysqladmin:/usr/local/mysql:>mysql -uroot -pxxxx

create database cmf DEFAULT CHARACTER SET utf8; 
create database amon DEFAULT CHARACTER SET utf8; 
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456'; 
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456'; 
flush privileges;

mysql> create database cmf DEFAULT CHARACTER SET utf8; 
Query OK, 1 row affected (0.00 sec)mysql> create database amon DEFAULT CHARACTER SET utf8; 
Query OK, 1 row affected (0.00 sec)mysql> grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456'; 
Query OK, 0 rows affected, 1 warning (0.00 sec)mysql> grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456'; 
Query OK, 0 rows affected, 1 warning (0.00 sec)mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)mysql> show databases;

三.CDH部署

1.离线部署cm server及agent

1.1.所有节点创建⽬目录及解压
mkdir /opt/cloudera-manager 
tar -xzvf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/
1.2.选择hadoop001为cm server，不不下载依赖包直接部署
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64 
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force 
rpm -ivh  cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
1.3.所有节点(包含hadoop001)为cm agent，不下载依赖包直接部署
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64 
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force 
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm  --nodeps --force
1.4.所有节点修改agent的配置，指向server的节点
sed -i "s/server_host=localhost/server_host=hadoop001/g" /etc/cloudera-scm-agent/config.ini
1.5.主节点修改server的配置:
vi /etc/cloudera-scm-server/db.properties 
com.cloudera.cmf.db.type=mysql 
com.cloudera.cmf.db.host=hadoop001 
com.cloudera.cmf.db.name=cmf 
com.cloudera.cmf.db.user=cmf 
com.cloudera.cmf.db.password=123456 
com.cloudera.cmf.db.setupType=EXTERNAL

2.hadoop001节点部署离线parcel源

2.1.安装httpd服务
yum install -y httpd
2.2.部署离线parcel源
$ mkdir -p /var/www/html/cdh6_parcel 
[root@ruozedata001 CDH6.3.1]# cp  CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/ www/html/cdh6_parcel/[root@ruozedata001 CDH6.3.1]# mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 / var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha [root@ruozedata001 CDH6.3.1]# mv manifest.json  /var/www/html/cdh6_parcel/$ ll 
total 3081664 
-rw-r--r-- 1 root root 2083878000 Oct 23 13:44 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7 .parcel 
-rw-r--r-- 1 root root         40 Oct 23 13:44 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7 .parcel.sha1 
-rw-r--r-- 1 root root 1411444147 Oct 23 13:43 cm6.3.1-redhat7.tar.gz 
-rw-r--r-- 1 root root  173271626 Oct 23 13:43 jdk-8u45-linux-x64.gz 
-rw-r--r-- 1 root root      33887 Oct 23 13:43 manifest.json 
-rw-r--r-- 1 root root  548193637 Oct 23 13:42 mysql-5.7.11-linux-glibc2.5-x86_64. tar.gz 
-rw-r--r-- 1 root root    1007502 Sep  1 12:31 mysql-connector-java-5.1.47.jar$ mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/ 
$ mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH -6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha 
$ mv manifest.json  /var/www/html/cdh6_parcel/ 
sha1名称⽂文件时，重命名去掉1，不不然在部署过程CM认为如上⽂文件下载未完整，会持续下载
2.3.启动httpd

systemctl start httpd
window/mac:
http://hadoop001/cdh6_parcel/ 查看是否可以访问
在这里插入图片描述

3.hadoop001节点启动Server

3.1.启动server

systemctl start cloudera-scm-server
查看⽇日志:

cd /var/log/cloudera-scm-server/ $ ll 
total 20 
-rw-r----- 1 cloudera-scm cloudera-scm 18265 Oct 23 15:37 cloudera-scm-server.log 
-rw-r----- 1 cloudera-scm cloudera-scm     0 Oct 23 15:37 cmf-server-nio.log 
-rw-r----- 1 cloudera-scm cloudera-scm     0 Oct 23 15:37 cmf-server-perf.log

$ tail -F cloudera-scm-server.log
有错误就根据错误解决，没有错误，等待1min，出现7180端⼝，表明是成功的。

3.2.阿⾥里里云web界⾯面，设置该hadoop001节点防⽕火墙放开7180端⼝
3.3.等待1min，打开 http://hadoop001:7180 账号密码:admin/admin
3.4.假如打不不开，去看server的log，根据错误仔细排查错误

4.所有节点启动Agent

systemctl start cloudera-scm-agent

5.接下来，全部Web界⾯面操作

http://hadoop001:7180/
账号密码:admin/admin

6.选择存储库

选择http://hadoop001/cdh6_parcel/,并把其他存储库全去掉。

四 操作 WEBUI界面安装CDH时报错

1.找不到集群中的机器

在这里插入图片描述
在这里插入图片描述
agent配置指向参数错误
在这里插入图片描述


http://chatgpt.dhexx.cn/article/kQnWmJlU.shtml

相关文章

CDH部署及排错

CDH部署及排错

第1章 搭建 前言 该文档为部署CDH6.3.1,其他版本的CDH安装步骤大体一样，如果安装其他版本的cdh遇到报错，请参考我的另一篇文档。 CDH-7.1.4安装报错解决 1.1 说明 这里的ip和主机名视实际情况而定 1.2 环境 操作系统 CentOS 7 服务器5台&#xff0c…
阅读更多...
CDH 维护

CDH 维护

1、cm启动 systemctl restart cloudera-scm-serversystemctl restart cloudera-scm-agent2、虚拟机异常，导致mysql重启失败 去掉data目录下的ib_logfile0 ib_logfile1这两个文件，mv rm都行 然后启动mariadb就行 3、CDH 测试数据不足： 测试 A…
阅读更多...
CDH

CDH

CDH(Cloudera Distribution Hadoop), 是一个大数据平台 Hadoop的发行版本有很多，有华为发行版，Intel发行版，Cloudera发行版（CDH），MapR版本,以及HortonWorks版本等。所有发行版都是基于Apache Hadoop衍生出来…
阅读更多...
centos7安装cdh全过程

centos7安装cdh全过程

centos7配置静态ip Vi /etc/sysconfig/network-scripts/ ifcfg-ens33 TYPEEthernet PROXY_METHODnone BROWSER_ONLYno BOOTPROTOstatic DEFROUTEyes IPV4_FAILURE_FATALno IPV6INITyes IPV6_AUTOCONFyes IPV6_DEFROUTEyes IPV6_FAILURE_FATALno IPV6_ADDR_GEN_MODEstable-priva…
阅读更多...
CDH是什么？

CDH是什么？

CDH CDH是Cloudera的100％开放源代码平台发行版，包括Apache Hadoop，是专门为满足企业需求而构建的。CDH可立即提供企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成在一起，Cloudera创建了功能先进的系统&#xff0…
阅读更多...
CDH简介

CDH简介

一、CDH概念 CDH，全称Clouderas Distribution, including Apache Hadoop。由美国的Cloudera公司推出的大数据产品；CDH是基于稳定版本的Apache Hadoop构建而成，也是目前市场上应用比较广泛的大数据产品。 二、CDH架构 三、CDH优点 1.版本管理…
阅读更多...
大数据之CDH（web页面部署Hadoop）

大数据之CDH（web页面部署Hadoop）

一、了解CDH 在众多 Hadoop 版本中， CDH 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。 1.1 Hadoop 属于开源软件，采用Apa…
阅读更多...
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )

CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )

CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 ) 第一章：CDH简介 CDH概念 ​ CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他…
阅读更多...
Symmetric Eigenvalue Decomposition

Symmetric Eigenvalue Decomposition

求特征值求出s，如何求r 转载于:https://www.cnblogs.com/zzsama/p/10856126.html
阅读更多...
Eigenvalue and singular value

Eigenvalue and singular value

1. 特征值: A为方阵，v是A的特征向量。 λ是特征向量v对应的特征值。 一个矩阵的特征向量是一组正交向量。 其中Q是这个矩阵A的特征向量组成的矩阵； 一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量&#xff0…
阅读更多...
Part2 正交、行列式、特征值

Part2 正交、行列式、特征值

方阵的行列式determinant eigen values特征值 Determinants det A|A| 这三个性质定义了行列式： 1. det I1 2. exchange rows：reverse sign of det 置换矩阵 det P1 even -1 odd 3. matlab求行列式： pivot formula主…
阅读更多...
【线代NumPy】第八章 - 特征值和特征向量 | Eigenvalue and Eigenvector | 简述并提供代码

【线代NumPy】第八章 - 特征值和特征向量 | Eigenvalue and Eigenvector | 简述并提供代码

💬 例1： import numpy as npA = np.array([[2, 3], [3, -6]]) w1, V1 = np.linalg.eig(A) # 计算A的特征值和特征向量print("A的特征值： = ", w1) print("A的特征向量： = ", V1)B = np.array([[5,2,0], [2,5,0], [-3,4,6]]) w2, V2 = np.linalg.eig(…
阅读更多...
Householder transformation + QL to calculate eigenValue and eigenVectors of Hertian Matrix, cpu code

Householder transformation + QL to calculate eigenValue and eigenVectors of Hertian Matrix, cpu code

化Hertinan matrix eigen problem into a real symmetric matrix eigen problem: 原理： 与matlab的结果进行对比： A[ ... ( 3.0 0.0*j) (-2.0 -2.0*j) (-0.9 -0.9*j) (-0.5 -0.5*j); ... (-2.0 2.0*j) ( 4.0 0.0*j) ( 1.0 1.0*j) (-0.7…
阅读更多...
Truncated Power Method for Sparse Eigenvalue Problems

Truncated Power Method for Sparse Eigenvalue Problems

目录 算法k的选择\(x\)的初始化代码 抱歉，真的没怎么看懂，当然，估计和我现在没法静下心来好好看也有关系。 算法 想法非常非常简单吧，就是在原来幂法的基础上，每次迭代的时候再加个截断。当然，论文里给出了…
阅读更多...
R语言将向量数据按照行方式转化为矩阵数据（设置参数byrow为TRUE）、计算矩阵数据的特征值（eigenvalue）

R语言将向量数据按照行方式转化为矩阵数据（设置参数byrow为TRUE）、计算矩阵数据的特征值（eigenvalue）

R语言将向量数据按照行方式转化为矩阵数据（设置参数byrow为TRUE）、计算矩阵数据的特征值（eigenvalue） 目录 R语言将向量数据按照行方式转化为矩阵数据（设置参数byrow为TRUE）、计算矩阵数据的特征值&#x…
阅读更多...
Nonlinear Component Analysis as a Kernel Eigenvalue Problem

Nonlinear Component Analysis as a Kernel Eigenvalue Problem

目录 引kernel PCA kernel 的选择性质一些问题代码 Scholkopf B, Smola A J, Muller K, et al. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998, 10(5): 1299-1319. 引 普通的PCA将下式进行特征分解（用论文的话讲就是对…
阅读更多...
拉格朗日乘数法和KKT条件的直观解释

拉格朗日乘数法和KKT条件的直观解释

拉格朗日乘数法和KKT条件的直观解释 标签（空格分隔）： 机器学习 linbin 2018-05-10 Abstract 在SVM的推导中，最优化问题是其中的核心，这里我们简单介绍下最优化问题，特别是带有约束的最优化问题&#xff…
阅读更多...
[Math Algorithm] 拉格朗日乘数法

[Math Algorithm] 拉格朗日乘数法

https://www.cnblogs.com/maybe2030/p/4946256.html 阅读目录 1. 拉格朗日乘数法的基本思想2. 数学实例3. 拉格朗日乘数法的基本形态4. 拉格朗日乘数法与KKT条件 拉格朗日乘数法（Lagrange Multiplier Method）之前听数学老师授课的时候就是一知半解&…
阅读更多...
每天五分钟机器学习算法：拉格朗日乘数法和KKT条件

每天五分钟机器学习算法：拉格朗日乘数法和KKT条件

KKT条件 当我们要求一个函数的极值，同时还有两种类型的约束条件，一种约束条件是等式约束，另外一种约束是不等式约束： x是一个变量（n维，n个样本），我们想要找到使得f(x)最大的x，还要满足上面的约束。此时KKT条件就出来说话了，如果要想让x满足这个条件下的f(x)的最大…
阅读更多...
拉格朗日乘数法及python实现拉格朗日乘数法

拉格朗日乘数法及python实现拉格朗日乘数法

拉格朗日乘数法（Lagrange Multiplier Method）基本思想 作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（nk&am…
阅读更多...
推荐文章

Copyright @ 2022~2023