CDH6.2.0部署

article/2025/10/3 5:39:26

CDH6.2.0部署

服务器信息

服务器主机名安装服务密码等信息
192.168.66.10mysql.cdh.lczy.comcloudera-manager-server httpd mysql-5.7数据库初始密码和安装路径信息如下: mysql_root_pwd=“CDH6.2_lczy” mysql_install_path="/usr/local"
192.168.66.11cdh11.lczy.com简单初始化 jdk
192.168.66.12cdh12.lczy.com简单初始化 jdk
192.168.66.13cdh13.lczy.com简单初始化 jdk

1.思路

  • 服务器需要初始化一些信息，比如防火墙，时间，主机名，免密配置等
  • cdh资源，为了安装方便需要提前下载到本地。考虑到后续新增节点方便，所以配置一个本地文件服务器，方便下载使用。
  • 安装数据库，备份
  • 安装scm 然后启动进行可视化交互界面
  • 最主要的简要介绍下cdh版本

  1. 涉及端口
    在这里插入图片描述

  2. CDH组件版本
    https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62_packaging.html

  3. 文档地址
    https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/cm_ig_ports_cm.html

  4. 文件下载地址–
    https://archive.cloudera.com/cdh6/6.2.0/parcels
    在这里插入图片描述
    现在需要订阅了–也可以通过百度云分享下载
    https://download.csdn.net/download/fzxiaocai/83750080?spm=1001.2014.3001.5503

2.初始化–每台都做

  1. 主机名
	 /usr/bin/hostnamectl set-hostname "${hostname}"   # "${hostname}" 替换成任意主机名即可  echo "HOSTNAME=${hostname}" >/etc/sysconfig/network
  1. yum安装依赖工具
yum install -y wget vim net-tools unzip ntpdate lrzsz expect
  1. centos优化配置
  	echo never >/sys/kernel/mm/transparent_hugepage/defragecho 0 >/proc/sys/vm/swappinessecho never >/sys/kernel/mm/transparent_hugepage/enabled
  1. 防火墙配置
    sed -i "s#SELINUX=enforcing#SELINUX=disabled#g" /etc/selinux/configsetenforce 0systemctl stop firewalldsystemctl disable firewalld
  1. 关闭不必要服务
    systemctl stop postfixsystemctl disable postfix
  1. 时间同步配置
    ntp_server=ntp.aliyun.com
	timedatectl set-timezone 'Asia/Shanghai' &>/dev/null   #时区rm -rf /etc/localtimeln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime &>/dev/nullntpdate -u "${ntp_server}"  #同步echo "0 1 * * * /usr/sbin/ntpdate -u ${ntp_server}" >crontab_conf && crontab crontab_conf && rm -f crontab_conf  ##定时任务同步
  1. jdk安装
    yum localinstall -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm &>/dev/nullln -s /usr/java/jdk1.8.0_181-cloudera /usr/java/jdk1.8

3.文件准备+配置–仅192.168.66.10

##提前准备好文件--CDH资源
CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel 
CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1 
manifest.json 
cloudera-manager.repo 
RPM-GPG-KEY-cloudera 
allkeys.asc 
cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm 
cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 
cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm 
cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm 
enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm

yum install -y httpd createrepo
sed -i '145i\IndexOptions NameWidth=100 Charset=UTF-8 FancyIndexing FoldersFirst' /etc/httpd/conf/httpd.conf## FancyIndexing 开启目录浏览修饰   FoldersFirst 目录优先排在前面## NameWidth=85 表示文件名可以最多显示85个英文字符   Charset=UTF-8 字符集##文件归位--上传文件到指定目录
[root@mysql ~]# cd  /var/www/html
[root@mysql html]# tree .
.
└── cloudera-repos├── cdh6│   └── 6.2.0│       └── parcels│           ├── CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel│           ├── CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1│           └── manifest.json└── cm6└── 6.2.0├── allkeys.asc└── redhat7└── yum├── cloudera-manager.repo├── RPM-GPG-KEY-cloudera└── RPMS└── x86_64├── cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm├── cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm├── cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm├── cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm├── enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm└── oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm/var/www/html/cloudera-repos/cdh6/6.2.0/parcels
/var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/RPMS/x86_64
systemctl restart httpd

cd /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum
createrepo .
wget http://192.168.66.10/cloudera-repos/cm6/6.2.0/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/  ## 换成自己的地址，或者直接copy过去也行
sed -i "s|https://archive.cloudera.com|http://192.168.66.10/cloudera-repos|g" /etc/yum.repos.d/cloudera-manager.repo  ##替换yum安装CDH的地址，不从官网拉，直接拉去本地httpsudo rpm --import http://192.168.66.10/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera &>/dev/null   ## 换成自己的地址，或者直接 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera 也行
yum clean all &>/dev/null && yum makecache &>/dev/null

4.安装数据库–仅192.168.66.10

##下载mysqlwget http://repo.mysql.com/yum/mysql-5.7-community/el/7/x86_64/mysql57-community-release-el7-10.noarch.rpm## 添加数据库用户，组mysqlgroupadd mysql useradd -r -g mysql mysql ## 解压文件，重命名tar -xf mysql-5.7.27-el7-x86_64.tar.gz -C /usr/local/ mv /usr/local/mysql-5.7.27-el7-x86_64/ /usr/local/mysqlchown -R mysql:mysql /usr/local/mysql/rm -rf /var/lib/mysql && mkdir -p /var/lib/mysqlchown mysql:mysql /var/lib/mysql## 启动配置，开机自启rm -rf /etc/init.d/mysql  ##删除之前开机启动的mysql配置cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqlecho "basedir=/usr/local/mysql" >>/etc/init.d/mysqlecho "datadir=/usr/local/mysql/data" >>/etc/init.d/mysqlchkconfig --add mysqlchkconfig mysql on## 数据库配置```bashvim /etc/my.cnf
#——————————————————
[mysqld]
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
socket=/var/lib/mysql/mysql.sock
character-set-server=utf8transaction-isolation = READ-COMMITTED
symbolic-links = 0
server_id=1
max_connections = 5500
log_bin=/var/lib/mysql/mysql_binary_log
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
default_password_lifetime=0
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M 
[client]
default-character-set=utf8
socket=/var/lib/mysql/mysql.sock  
[mysql]
default-character-set=utf8
socket=/var/lib/mysql/mysql.sock
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES
#——————————————————————##环境变量echo "export MYSQL_PATH=/usr/local/mysql" >>/etc/profileecho "export PATH=\$PATH:\$MYSQL_PATH/bin" >>/etc/profile

数据库初始化

/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data &>/mysql_pwd.text## /mysql_pwd.text 可查看初始密码

启动数据库

/etc/init.d/mysql restart

修改密码

mysql_init_pwd="$(grep 'root@localhost' /mysql_pwd.text | awk -F' ' '{print $NF}')"  ##软件初始化的密码  查看替换即可
##CDH6.2_lczy  ##默认设置的密码
/usr/local/mysql/bin/mysql -p${mysql_init_pwd} --connect-expired-password -e "ALTER USER 'root'@'localhost' IDENTIFIED BY 'CDH6.2_lczy';flush privileges"

准备-mysql-connector-java.jar

## 下载一个 mysql-connector-java-5.1.46.jar 修改名字放在服务器目录下/usr/share/java/mysql-connector-java.jarwget -c -P /usr/share/java "${file_download_url}"/mysql-connector-java.jar &>/dev/null
ls /usr/share/java/mysql-connector-java.jar

创建cdh组件使用的数据库

在这里插入图片描述

CREATE DATABASE amon DEFAULT CHARACTER SET utf8;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8;
##参考
CREATE DATABASE scm DEFAULT CHARACTER SET utf8;
GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%'IDENTIFIED BY 'scm';
FLUSH PRIVILEGES;"

5.安装scm，进入图形化界面

yum install -y cloudera-manager-daemons cloudera-manager-server &>/dev/null##--下载到本地 /opt/目录下--功能实现上面和上面重复了，建议还是操作一下。
mkdir -p /opt/cloudera/parcel-repo/
wget -c -P /opt/cloudera/parcel-repo "${file_http_url}"/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel  ##"${file_http_url}"当前服务器的ip------http://192.168.66.10/cloudera-repos 
wget -c -P /opt/cloudera/parcel-repo "${file_http_url}"/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1 
wget -c -P /opt/cloudera/parcel-repo "${file_http_url}"/cdh6/6.2.0/parcels/manifest.json 
cp /opt/cloudera/parcel-repo/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha##添加用户组，权限等
groupadd cloudera-scm 
useradd -r -g cloudera-scm cloudera-scm 
chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/*##初始化数据库
sudo /opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm scm scm | tee /scm_prepare_database.log   ##查看日志/scm_prepare_database.log
#参数说明：
#options 指定操作，如果数据库不再本地请用-h或--host 指定mysql的host，不指定默认localhost
#databaseType 指定为mysql，也可以是其它类型的数据，例如：oracle等
#databaseName 指定为scm数据库，这里使用 scm库
#databaseUser 指定mysql用户名，这里使用 scm
#password 指定mysql其用户名的密码，这里使用scm##启动
systemctl start cloudera-scm-server
systemctl enable cloudera-scm-server

访问：7180端口
http://192.168.66.10:7180

##在Web浏览器数据 http://192.168.66.10:7180
#登录Cloudera Manager Admin Console，默认凭证为
#Username: admin
#Password: admin

6.其他方式安装：脚本安装一键启动

直接运行该脚本，然后等日志刷新，打开7180进入可视化安装即可。

sh cdh_main.sh "192.168.66.21 192.168.66.22 192.168.66.23" "111111" "22" "http://192.168.38.38:81/cdh"

在这里插入图片描述
在这里插入图片描述
脚本下载地址
https://download.csdn.net/download/fzxiaocai/83749872?spm=1001.2014.3001.5503
大家可以相信这份脚本。简单的截图给大家展示一下
在这里插入图片描述
在这里插入图片描述

7.新增主机

第一步：初始化

sh cdh_init.sh "mysql.cdh.lczy.com" "${file_download_url}"
## 第一个参数：需要设置的主机名
## 第二个参数： 下载安装jdk oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm的下载地址
## 如果本地存在该文件，上传到服务器，注释脚本改行即可。如下图所示
## 可在此链接下载该文件 https://download.csdn.net/download/fzxiaocai/84407632

在这里插入图片描述
第二步：可视化界面扫描主机即可
在这里插入图片描述
在这里插入图片描述

————————————————————————————end————————————————————————————


http://chatgpt.dhexx.cn/article/Tndr5I7r.shtml

相关文章

转载：CDH6.2离线安装（整理版）

转载：CDH6.2离线安装（整理版）

引用地址：https://www.cnblogs.com/swordfall/p/10816797.html　 CDH6.2离线安装（整理版） 1.概述 CDH，全称Clouderas Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护&#…
阅读更多...
CDH大数据——cloudera-manager搭建安装集群CDH

CDH大数据——cloudera-manager搭建安装集群CDH

目录 一、基础软件版本信息： 1、CDH对CentOS的版本要求： 2、CDH对数据库版本的要求： 3、CDH对jdk版本的要求： 4、CDH对浏览器的要求： 5、CDH对网络配置的要求： 6、CDH对安全传输协议（TLS…
阅读更多...
CDH6.3.2集群变更IP配置修改

CDH6.3.2集群变更IP配置修改

CHD集群在服务器节点的IP改变之后需要修改一些配置，它本身不会如Apache原生软件那样完全依赖服务器的域名映射，我这边本地使用的测试环境是CDH6.3.2的，在启动/关闭上不用担心agent，如果大家用的是其他版本需要注意 1、在修改IP之…
阅读更多...
CDH 6.3.2集群安装部署

CDH 6.3.2集群安装部署

文章目录 CDH 6.3.2集群安装部署一 CDH概要1.1 CDH的背景1.2 CDH介绍 二 环境准备2.1 安装部署环境2.2 部署规划2.3 服务器主机映射2.4 服务器免登录配置2.5 防火墙关闭2.6 关闭Selinux2.7 设置最大打开文件2.8 关闭最大透明页面压缩2.9 设置Swappiness空间2.10 安装JDK2.11 My…
阅读更多...
CDH6.3.1部署

CDH6.3.1部署

CDH部署 1.准备工作 资源有限，使用虚拟机进行如下配置 机器配置 IP主机名配置192.168.130.221CDH14G 2处理器 60G磁盘192.168.130.222CDH22G 1处理器 20G磁盘192.168.130.223CDH32G 1处理器 20G磁盘 建议配置 IP主机名配置192.168.130.221CDH18G 4处理器 80G磁盘…
阅读更多...
CDH 动态资源池

CDH 动态资源池

CDH 动态资源池 CDH 的动态资源池类似于 Yarn 中的队列概念差不多现在有这样一个需求，开发环境中，就只有一套 CDH 的集群，不同的用户组使用不同的硬件资源，这时候可以通过动态资源池来实现这个功能。需求： 一个 CDH 集…
阅读更多...
CDH目录结构

CDH目录结构

1 组件安装路径: /opt/cloudera/parcels/CDH/lib 2 组件配置路径： /etc/组件名/conf 步骤1 通过软链接指过来 hadoop配置文件路径：/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop (hadoop软链接 -->/etc/hadoop/conf) /etc/hadoop/conf …
阅读更多...
CDH邮件报警配置

CDH邮件报警配置

CDH邮件报警配置 cloudera manager提供邮件告警功能，方便管理员在集群出现问题的第一时间维护集群。 登录CM 点击进入cloudera manager service服务 启用电子邮件警报 在搜索框输入启用电子邮件警报，并启用 配置邮箱服务器 配置邮箱服务器 保存配置并…
阅读更多...
CDH 6.3.1安装

CDH 6.3.1安装

一、准备工作 1 安装lrzsz [roothadoop001 ~]# yum -y install lrzsz [roothadoop002 ~]# yum -y install lrzsz [roothadoop003 ~]# yum -y install lrzsz2 上传安装文件 [roothadoop001 ~]# rz[roothadoop001 cdh63]# ll -h total 3.9G -rw-r--r-- 1 root root 2.0G Oct …
阅读更多...
CDH部署及排错

CDH部署及排错

第1章 搭建 前言 该文档为部署CDH6.3.1,其他版本的CDH安装步骤大体一样，如果安装其他版本的cdh遇到报错，请参考我的另一篇文档。 CDH-7.1.4安装报错解决 1.1 说明 这里的ip和主机名视实际情况而定 1.2 环境 操作系统 CentOS 7 服务器5台&#xff0c…
阅读更多...
CDH 维护

CDH 维护

1、cm启动 systemctl restart cloudera-scm-serversystemctl restart cloudera-scm-agent2、虚拟机异常，导致mysql重启失败 去掉data目录下的ib_logfile0 ib_logfile1这两个文件，mv rm都行 然后启动mariadb就行 3、CDH 测试数据不足： 测试 A…
阅读更多...
CDH

CDH

CDH(Cloudera Distribution Hadoop), 是一个大数据平台 Hadoop的发行版本有很多，有华为发行版，Intel发行版，Cloudera发行版（CDH），MapR版本,以及HortonWorks版本等。所有发行版都是基于Apache Hadoop衍生出来…
阅读更多...
centos7安装cdh全过程

centos7安装cdh全过程

centos7配置静态ip Vi /etc/sysconfig/network-scripts/ ifcfg-ens33 TYPEEthernet PROXY_METHODnone BROWSER_ONLYno BOOTPROTOstatic DEFROUTEyes IPV4_FAILURE_FATALno IPV6INITyes IPV6_AUTOCONFyes IPV6_DEFROUTEyes IPV6_FAILURE_FATALno IPV6_ADDR_GEN_MODEstable-priva…
阅读更多...
CDH是什么？

CDH是什么？

CDH CDH是Cloudera的100％开放源代码平台发行版，包括Apache Hadoop，是专门为满足企业需求而构建的。CDH可立即提供企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成在一起，Cloudera创建了功能先进的系统&#xff0…
阅读更多...
CDH简介

CDH简介

一、CDH概念 CDH，全称Clouderas Distribution, including Apache Hadoop。由美国的Cloudera公司推出的大数据产品；CDH是基于稳定版本的Apache Hadoop构建而成，也是目前市场上应用比较广泛的大数据产品。 二、CDH架构 三、CDH优点 1.版本管理…
阅读更多...
大数据之CDH（web页面部署Hadoop）

大数据之CDH（web页面部署Hadoop）

一、了解CDH 在众多 Hadoop 版本中， CDH 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。 1.1 Hadoop 属于开源软件，采用Apa…
阅读更多...
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )

CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )

CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 ) 第一章：CDH简介 CDH概念 ​ CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他…
阅读更多...
Symmetric Eigenvalue Decomposition

Symmetric Eigenvalue Decomposition

求特征值求出s，如何求r 转载于:https://www.cnblogs.com/zzsama/p/10856126.html
阅读更多...
Eigenvalue and singular value

Eigenvalue and singular value

1. 特征值: A为方阵，v是A的特征向量。 λ是特征向量v对应的特征值。 一个矩阵的特征向量是一组正交向量。 其中Q是这个矩阵A的特征向量组成的矩阵； 一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量&#xff0…
阅读更多...
Part2 正交、行列式、特征值

Part2 正交、行列式、特征值

方阵的行列式determinant eigen values特征值 Determinants det A|A| 这三个性质定义了行列式： 1. det I1 2. exchange rows：reverse sign of det 置换矩阵 det P1 even -1 odd 3. matlab求行列式： pivot formula主…
阅读更多...
推荐文章

Copyright @ 2022~2023