CDH6.2.0详细安装步骤

article/2025/11/6 17:23:51

CDH6.2.0版本安装指南

1. 准备集群
本文档使用的是三台虚拟机，IP和主机名自行修改，三台虚拟机需要能联网，并且能够免密登录，这些网上都能找到详细的教程，有问题也可以底部留言交流。

ip名称内存
xxx.xx.x.169node16916G
xxx.xx.x.170node17016G
xxx.xx.x.171node17116G

2.安装JDK（3台）
百度网盘 链接：https://pan.baidu.com/s/1eR-ZAZNLBZwSLgUSmmlfEQ
提取码：95yu
2.1 创建目录：mkdir /software/
在这里插入图片描述
2.2 将上面下载的JDK压缩包放入该目录下
2.3 解压：tar -zxvf jdk-8u131-linux-x64.tar.gz
2.4 将文件夹名称修改为：jdk1.8
2.5 修改系统配置：vi /etc/profile 添加如下配置
在这里插入图片描述
2.6 刷新系统配置：source /etc/profile
2.7 查看是否成功 javac -version java -version
在这里插入图片描述
3.安装NTP（3台）
3.1 yum install -y ntp
3.2 修改主节点的ntp.conf 配置文件，添加红框的内容
vi /etc/ntp.conf

在这里插入图片描述

从节点只需要添加主节点的ip
在这里插入图片描述

3.3 三个节点修改：vi /etc/sysconfig/ntpd，加上 SYNC_CLOCK=yes
在这里插入图片描述
3.4 启动ntp 服务

systemctl start ntpd.service
systemctl enable ntpd.service
systemctl status ntpd.service

在这里插入图片描述
4.修改系统参数

 sysctl vm.swappiness=10echo 'vm.swappiness=10' >> /etc/sysctl.confecho never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabledecho 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'  >> /etc/rc.localecho 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  >> /etc/rc.local

5. 安装httpd

yum -y install httpd
systemctl start httpd 
systemctl status httpd

直接用ip地址登录，验证一下，出现下面这个页面即为安装成功
在这里插入图片描述
6.下载第三方依赖包

yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib

7.安装Mysql
7.1 首先查看自己的集群中是否安装了mysql数据库

 rpm -qa | grep mysql

在这里插入图片描述

如果安装了，可以通过 yum -y remove mysql 进行卸载（这里的mysql就是上面命令的运行结果）

7.2 Mysql5.7的rpm包下载地址(阿里云盘速度更快哦)：
阿里云盘：https://www.aliyundrive.com/s/p8H3DCYK6Uf
百度网盘：https://pan.baidu.com/s/1NFSrYgeYpHKJMGlss2XiFA
提取码：zo2o
下载完成后上传至主机对应位置
在这里插入图片描述
7.3 依次执行以下6个命令进行安装

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

7.4 启动mysql

systemctl start mysqld

7.5 设置mysql开机自启

systemctl enable mysqld

7.6 安装成功后，首先将数据库设置成无密码状态，修改配置

   vi /etc/my.cnf

添加 skip-grant-tables 可保证为无密码状态
在这里插入图片描述
7.7 重启mysql服务器，使配置生效

systemctl restart mysqld

7.8 进入数据库
mysql -u root -p 按enter 键进入，使用mysql数据库
在这里插入图片描述
7.9 修改mysql的登录密码为：123456

update user set authentication_string=password("123456") where user='root';

在这里插入图片描述
如果有报错或者后面使用密码登录有下面的报错的话：

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

就执行以下命令：

mysql> set global validate_password_policy =0;
Query OK, 0 rows affected (0.04 sec)mysql> set global validate_password_length = 6;
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;

7.10 创建相关数据库

create database cmf default character set = 'utf8';
create database amon default character set = 'utf8';
create database hue default character set = 'utf8';
create database oozie default character set = 'utf8';

7.11 对数据库进行授权

mysql> update user set host='%' where user = 'root'; 
mysql> flush privileges;

7.12 设置允许外网访问mysql
之前上面的步骤关闭了防火墙，先打开

systemctl start firewalld
firewall-cmd --list-all

在这里插入图片描述
查看3306端口是否开放：firewall-cmd --query-port=3306/tcp
在这里插入图片描述no表示未开放，我们需要开放3306端口：firewall-cmd --permanent --add-port=3306/tcp ，重启防火墙： systemctl restart firewalld
再次查看3306端口是否开放：firewall-cmd --query-port=3306/tcp、firewall-cmd --list-all

在这里插入图片描述
7.13 上传mysql-connector-java-5.1.39 jar包
阿里云盘：https://www.aliyundrive.com/s/aLXcNfH6rZq
百度网盘：https://pan.baidu.com/s/1aV3_jmS6Souc0JUxPnG1Kg
提取码：a7zb
在三台虚拟机执行以下命令：

  1. mkdir /usr/share/java
  2. 将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下
  3. mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar
    在这里插入图片描述

8.CM组件安装
阿里云盘：https://www.aliyundrive.com/s/HhwYhr3WFMH
百度网盘：https://pan.baidu.com/s/1S_vyC4NLzue2Oj1JT2rd7Q
提取码：tgv2
8.1 node169 上传全部的包，node170、node171 集群只上传 agent 和 daemons 的rpm包
在这里插入图片描述在这里插入图片描述
8.2 node169执行

yum install -y cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 
yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

node170、node171执行

yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 
yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

9. 安装CDH6.2.0
9.1 下载安装包并上传安装包至主节点node169
百度网盘（阿里云盘限制了文件类型…）
链接：https://pan.baidu.com/s/1S1CawZa6I6lZnteuORVjwg
提取码：uy4k
在这里插入图片描述
9.2 将上传的资源移动到相应的目录下

mv CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /opt/cloudera/parcel-repo/
mv PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel* /opt/cloudera/parcel-repo/
mv manifest.json /opt/cloudera/parcel-repo/
mv PHOENIX-1.0.jar /opt/cloudera/csd/

进入到/opt/cloudera/parcel-repo/ 目录下，验证文件上传是否正确
在这里插入图片描述两次的值都一样说明上传正确

9.3 node169修改配置文件，下面红框位置的内容

vi /etc/cloudera-scm-server/db.properties

在这里插入图片描述
9.4 node169、node170、node171修改配置文件，下面红框位置的内容(node170和node171上面的server_host也是node169)

vi /etc/cloudera-scm-agent/config.ini

在这里插入图片描述
10. 启动CM
10.1 关闭所有集群节点的防火墙

systemctl stop firewalld
systemctl disable firewalld

10.2 在node169上启动server和agent

systemctl start cloudera-scm-server
systemctl start cloudera-scm-agent

查看server日志有没有报错

tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

如果报错如下：
在这里插入图片描述
而且没有任何更多的日志，包括/var/log/cloudera-scm-server/目录也没有任何文件，可以通过 命令journalctl -xe 查找报错日志，如果提示JAVA_HOME找不到的话，使用下面的命令即可：

mkdir -p /usr/java
ln -s /software/jdk1.8/  /usr/java/default

再执行 systemctl start cloudera-scm-server 重新启动。

10.3 在node170和node171上启动agent

systemctl start cloudera-scm-agent

11. 开始安装CDH集群
输入IP:7180登录页面，用户名密码都是 admin
在这里插入图片描述
点击继续
在这里插入图片描述
选择第一个，点击继续
在这里插入图片描述
点击继续
在这里插入图片描述
给集群起个名称，点击继续
在这里插入图片描述
选择当前管理的主机，三台都勾选
在这里插入图片描述
一直下一步，这里选择自定义服务
在这里插入图片描述
先安装一个zookeeper
在这里插入图片描述
Activity Monitor 选择的是node169节点，server 三个节点都选上
在这里插入图片描述
数据库之前是装在node169上，数据库选择amon，用户名root，密码123456，选择测试连接，通过后一直点击下一步，直到完成。
在这里插入图片描述
在这里插入图片描述
至此，CDH集群就已安装成功，这里再提供一个安装Hive的例子：

在这里插入图片描述
选择Hive，点击继续
在这里插入图片描述
HiveServer2选择三个节点，点击继续
在这里插入图片描述
数据库选择hive，测试连接，通过后点击继续
在这里插入图片描述
不用修改，点击继续，等待添加完成
在这里插入图片描述
其他服务根据需要自行添加即可，如有疑问，欢迎评论区交流。


http://chatgpt.dhexx.cn/article/PJjWhxt5.shtml

相关文章

俗话说：学好c语言，走遍天下都不怕

俗话说：学好c语言，走遍天下都不怕

c语言的重要性 C语言产生于1972年，是计算机的一种高级语言，目前在国际上还是很流行的，因为它具有低级程序语言的功能，所以也有人说它是中级语言。 对于大多数程序员来说。C语言是学习编程的第一门语言，也可以说是入门…
阅读更多...
如何学习 C 语言？

如何学习 C 语言？

在线资源 C程序员帮助建立了互联网，而互联网可以帮助你学习C。互联网时刻都在发展、变化，这里所列的资源只是在撰写本书时可用的资源。当然，你可以在互联网中找到其他资源。 如果有一些与C语言相关的问题或只是想扩展你的知识，可…
阅读更多...
关于学好C语言的心得

关于学好C语言的心得

一.工欲善其事，必先利其器 选择visual sudio 2019 原因：1.vs2019是集成开发环境，对新手友好，不需要配置环境，上手就可以使用 2.大部分网课教程都在使用，避免产生冲突 下载网址：Visual Studio 产…
阅读更多...
c语言学的是什么,C语言怎么学?

c语言学的是什么,C语言怎么学?

计算机有一种专业叫c语言，那么什么是c语言，怎么去学它？能给我们带来什么？这篇文章主要是针对此内容做一讲解！ c语言是一种电脑程序设计语言。它有高级语言的特点，也有整编语言的特征。可以作为系统设计和应…
阅读更多...
为什么要学好c语言，c语言到底多重要，你造吗

为什么要学好c语言，c语言到底多重要，你造吗

一、前言 对于理工 科学生来说，这个答案可能很简单，因为这是一门必修课。而对于程序员来说选择一门编程语言，在某种程度上，对职业生涯的发展会产生重大的影响，所以必须慎 之又慎。那么，为什么要选择一门诞…
阅读更多...
零基础如何学好C语言?

零基础如何学好C语言?

经常有人会这样问"我没有一点基础，该如何入门C语言，该如何学好C语言 ?"看到很多初学者摸不到门路，我在这里制定了相应的学习计划，对于零基础新手一定会有很大的帮助。 很多新手认为学习C语言离不开记忆语法&#xff0c…
阅读更多...
怎样学习C语言？

怎样学习C语言？

一 、怎样学习C语言 很多人对学习C语言感到无从下手，经常问我同一个问题：究竟怎样学习C语言？我是一个教师，已经开发了很多年的程序，和很多刚刚起步的人一样，学习的第一个计算机语言就是C语言。 经过这些年的…
阅读更多...
如何学好C语言--你的学渣朋友告诉你

如何学好C语言--你的学渣朋友告诉你

光说不练假把式,光练不说傻把式,又练又说真把式。 真实感受，不是我不想学，是我真的不知道我哪里不会啊和得怎么做啊？本文作者当初就是这么废掉的 推荐两个练习的网站 （一）C语言网 https://www.dotcpp.com/ 水题基…
阅读更多...
学好C语言，你只需要这几句口诀！

学好C语言，你只需要这几句口诀！

学好C语言的秘诀就是1234：“一字真言，两种态度，三个框架，四项注意”。 一、一字真言 各位看官，学好C语言，其实只需一个字，那就是“编”。 （一）编。 学习C语言&#x…
阅读更多...
推荐给初学者：如何学好C语言？

推荐给初学者：如何学好C语言？

点击上方“大鱼机器人”，选择“置顶/星标公众号” 福利干货，第一时间送达！ 学习C语言不是一朝一夕的事情，但也不需要花费十年时间才能精通。如何以最小的代价学习并精通C语言是本文的主题。请注意，即使是“最小的代价”…
阅读更多...
如何学好C语言？

如何学好C语言？

目录 零基础学习C语言该怎么入门？第一步 视频课程第二步 阅读配套教材第三步 完成配套练习习题第四步 如果题目不会做怎么办？第五步 如果参考答案看不懂怎么办？第六步 熟练使用C语言第七步 全面理解C语言第八步 精通C语言第九步 C语言实战 零…
阅读更多...
新手如何学好C语言？

新手如何学好C语言？

作为一名资深码农，在软件行业也拼搏了十多年，这里跟想学习C语言的萌新童鞋分享下我的个人学习心得！！！ 在大学时代，我们大二才开始学习C语言（起步有点晚啊），第一次看到那…
阅读更多...
卸载nginx

卸载nginx

卸载nginx
阅读更多...
完全卸载nginx的详细步骤

完全卸载nginx的详细步骤

一个执着于技术的公众号 前言 在开局配置Nginx时有可能会配置错误，报各种错误代码。看不懂或者懒得去看这个报错时，其实最简单的方式是卸载并重装咯。今天就带大家一起学习下，如何彻底卸载nginx程序。 卸载nginx程序的详细步骤 1、停止Nginx软…
阅读更多...
Linux中完全卸载nginx及安装的详细步骤

Linux中完全卸载nginx及安装的详细步骤

前言 在开局配置Nginx时有可能会配置错误，报各种错误代码。看不懂或者懒得去看这个报错时，其实最简单的方式是卸载并重装咯。今天就带大家一起学习下，如何彻底卸载nginx程序。 一、卸载NGINX 卸载nginx程序的详细步骤 1、停止Nginx软件 …
阅读更多...
Linux 下卸载nginx的操作步骤(亲测有效)

Linux 下卸载nginx的操作步骤(亲测有效)

亲测有效，傻瓜式步骤，按着步骤来你也可以成功卸载nginx!!! 1.执行命令，看nginx是否在运行 ps -ef|grep nginx 上图可看出nginx在运行状态，接下来 2.到nginx的安装目录下 cd /tmp/upload/software/nginx 3.输入停止…
阅读更多...
Centos7安装、卸载nginx及配置，配置成系统服务（一步到位）

Centos7安装、卸载nginx及配置，配置成系统服务（一步到位）

目录 前言 一、下载安装解压 1.进入临时文件夹里（随便一个都行） 2.下载并安装nginx压缩包 3.解压该压缩包 4.创建目标文件夹 5.（默认会安装在/usr/local/nginx）这里通过configure命令指定安装目录 6.编译安装 7.最后生成的…
阅读更多...
CentOS7卸载Nginx、最后有命令总结

CentOS7卸载Nginx、最后有命令总结

第一步、查看Nginx的进程 命令 ：ps aux | grep nginx 下图表示Nginx启动 下图表示Nginx没有启动 第二步、如果Nginx没有启动就可以跳过这个步骤了；如果是启动状态的话用下面命令进行停止； 先通过可命令1找到对应目录在执行命令2 命令1&#x…
阅读更多...
安装、卸载nginx（基于Centos7）

安装、卸载nginx（基于Centos7）

一、卸载： 1、检查任务进程： ps -ef|grep nginx （有活动进程，kill 掉 ） kill -9 进程ID2、查看nginx相关文件 find / -name nginx 3、文件删除 4、检查依赖 yum remove nginx 二、安装： 1…
阅读更多...
Windows下cmd卸载nginx服务

Windows下cmd卸载nginx服务

文章目录 一、Windows卸载nginx服务1.以管理员身份运行CMD2.进入到安装的nginx目录下3.卸载nginx服务 一、Windows卸载nginx服务 1.以管理员身份运行CMD 2.进入到安装的nginx目录下 3.卸载nginx服务 命令：nginx-service.exe uninstall #nginx服务卸载后再次执…
阅读更多...
推荐文章

Copyright @ 2022~2023