CDH的安装与部署

article/2025/11/6 14:52:30

1.基础环境准备

1.1创建一个新的虚拟机
在这里插入图片描述

1.2安装虚拟机,设置ROOT密码并创建用户名为cdh的用户。
在这里插入图片描述
1.3修改配置文件
在这里插入图片描述
在这里插入图片描述
1.4测试是否可以联网
在这里插入图片描述
1.5安装常用命令
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
1.6关闭防火墙
在这里插入图片描述
1.7复制两台虚拟机并修改名称

1.8生成MAC地址并记录此地址之后取消
在这里插入图片描述
1.9启动第二台虚拟机
在这里插入图片描述
1.10修改配置文件,修改以下三处内容(MAC地址为之前记录的)。
在这里插入图片描述
在这里插入图片描述
1.11修改MAC地址与配置文件中一致
在这里插入图片描述
1.12对第三台服务器重复1.8-1.11
1.13修改主机名
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
1.14配置host
在这里插入图片描述
在这里插入图片描述
为了以后,我们使用谷歌或者其他浏览器访问域名也可以,那么我们需要对windows中的hosts文件进行配置。打开C:\Windows\System32\drivers\etc下的hosts文件,进行相应的配置:
在这里插入图片描述
1.14关闭selinux(在配置文件第一次设置时需要重启服务器)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.安装jdk和mysql

2.1传输文件
在这里插入图片描述
2.2解压
在这里插入图片描述
2.3配置环境变量
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.4下载MySQL安装源
在这里插入图片描述
若提示wget命令不存在,先执行
在这里插入图片描述
在这里插入图片描述
2.5安装MySQL安装源
在这里插入图片描述
2.6在线安装MySQL
在这里插入图片描述
在这里提醒,下载的东西很多而且是镜像下载。需要耐心等待。
2.7启动MySQL服务
在这里插入图片描述
2.8设置开机启动
在这里插入图片描述
2.9修改root登录密码
在这里插入图片描述
复制得到的密码,使用此密码登陆root
在这里插入图片描述
修改密码:
在这里插入图片描述
2.10配置mysql默认编码为utf-8
在这里插入图片描述
在这里插入图片描述
2.11重启MySQL
在这里插入图片描述
2.12设置允许远程、本地、host的访问权限
在这里插入图片描述

3.配置ssh免密

只在CDH001上操作:
3.1生成公钥和私钥
在这里插入图片描述
3.2在各自的~/.ssh目录下会生成两个文件
在这里插入图片描述
3.3将公钥拷贝到要免密登录的目标机器上
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.NTP时间同步

4.1在所有节点安装ntp服务
在这里插入图片描述
4.2设置时区
在这里插入图片描述
4.3开机自启动
在这里插入图片描述
4.4启动服务
在这里插入图片描述
4.5编辑ntp配置文件(4.5和4.6只在master节点配置)
在这里插入图片描述
在这里插入图片描述
4.6手动同步一次时间,免得本机与外部时间服务器时间差距太大,让ntpd不能正常同步
在这里插入图片描述
4.7编辑ntp配置文件(4.7和4.8只在slave节点配置)
在这里插入图片描述
在这里插入图片描述
4.8手动同步一次时间,免得本机与外部时间服务器时间差距太大,让ntpd不能正常同步
在这里插入图片描述
4.9启动ntp服务(所有节点)
在这里插入图片描述

5.安装CM

5.1下载cm
cm6.2.0 地址:https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
在这里插入图片描述
5.2传输文件到/home/cdh/softwares
CDH001四个安装包全部传输,CDH002和CDH003上传除了server和server-db外的两个包
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5.3在所有结点上安装依赖
在这里插入图片描述
命令很长:yum install -y bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse- libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python fuse-libs

5.4安装管理结点
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5.5初始化管理节点数据库
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5.6登录mysql创建scm用户
在这里插入图片描述
5.7创建hive用户
在这里插入图片描述
5.8初始化scm数据库
在这里插入图片描述
若报如下图错误
在这里插入图片描述
则要在root用户下配置java的环境变量
5.9上传parcel
在这里插入图片描述
5.10复制文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5.11在所有的子节点上安装cloudera-manager-daemons、cloudera-manager-agent
在这里插入图片描述
若报如下图所示错误,在root用户下配置java环境变量
在这里插入图片描述
在这里插入图片描述
若缺少依赖,则安装对应依赖
在这里插入图片描述
5.12修改agent配置
在这里插入图片描述
在这里插入图片描述
5.13启动cloudera-scm-server
在这里插入图片描述
5.14设置开机自启
在这里插入图片描述
5.15启动cloudera-scm-agent
在这里插入图片描述
5.16设置开机自启
在这里插入图片描述

6.登陆管理界面

使用浏览器访问主节点的7180端口,用户名密码默认都是admin
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这一步出现错误,可以参考解决方法:
1.将jdk压缩包解压到/usr/java(因为默认会到这个目录下寻找)。
2.清空nn和dn下的数据。


http://chatgpt.dhexx.cn/article/YSQFZK4r.shtml

相关文章

cdh安装教程

CDH免费版最高版本提供到了6.3.2,从6.3.3开始不提供免费版,为此整理了cdh6.3.2的离线安装包,大家可以点此下载:CDH6.3.2 安装大体思路是将rpm压缩包解压到某个节点的本地目录,然后在这个节点开启http服务,…

cdh平台安装详细教程

CDH安装文档目录 文章目录 0、准备1、配置免密码登录2、配置环境变量2.1、配置主机名,安装JDK2.2、安装mysql2.2.1、查看mysql是否安装2.2.2、主节点安装mysql 2.4、NTP安装 3、CDH Manager包文件文件上传分发4、CDH5的安装配置5、hdfs的高可用配置6、kafka安装7、…

大数据之cdh集群安装

安装前的准备工作 配置主机名、hosts、开启PermitRootLogin、设置密码 、做免密 、java环境变量、时间同步 安装过程概述(Ubuntu18.04安装) (centos7离线安装参考https://www.cnblogs.com/swordfall/p/10816797.html) http://ro-bucharest-repo.bigs…

CDH6.x安装教程(附带整合kerberos)

CDH从6.3.3版开始不再免费,6.3.2及以下版本可免费使用,大家如有需要可联系我索取安装包。 安装步骤总览: 1、配置服务器系统基础环境 2、配置本地仓库 3、安装数据库 4、安装CM 5、添加大数据服务 CDH基本架构简述: CDH主要…

CDH安装部署步骤

CDH下载地址: CDH5.4: http://archive.cloudera.com/cdh5/ Cloudera Manager5.4.3: http://www.cloudera.com/downloads/manager/5-4-3.html 准备工作:(linux必须是64位的) 安装CDH之前,我们需要安装一…

CDH安装配置(详细说明)

从网上看了很多的资料,填了不少的坑。总结一下。(这篇是整合网络的资料自己的坑) 关于CDH和Cloudera Manager CDH (Clouderas Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护&…

CDH的安装详细步骤

目录 目录 第1章 配置环境 1.1.准备阶段 1.1.1.服务器 1.1.2.操作系统 1.2.安装配置 1.2.1.安装操作系统 1.2.2.配置操作系统 1.2.3.安装Oracle JDK (所有节点) 1.2.4.配置SSH免密 1.2.5.安装配置mysql 1.2.6. NTP时间同步 第2章 安装CDH …

CDH6.2.0详细安装步骤

CDH6.2.0版本安装指南 1. 准备集群 本文档使用的是三台虚拟机,IP和主机名自行修改,三台虚拟机需要能联网,并且能够免密登录,这些网上都能找到详细的教程,有问题也可以底部留言交流。 ip名称内存xxx.xx.x.169node16916…

俗话说:学好c语言,走遍天下都不怕

c语言的重要性 C语言产生于1972年,是计算机的一种高级语言,目前在国际上还是很流行的,因为它具有低级程序语言的功能,所以也有人说它是中级语言。 对于大多数程序员来说。C语言是学习编程的第一门语言,也可以说是入门…

如何学习 C 语言?

在线资源 C程序员帮助建立了互联网,而互联网可以帮助你学习C。互联网时刻都在发展、变化,这里所列的资源只是在撰写本书时可用的资源。当然,你可以在互联网中找到其他资源。 如果有一些与C语言相关的问题或只是想扩展你的知识,可…

关于学好C语言的心得

一.工欲善其事,必先利其器 选择visual sudio 2019 原因:1.vs2019是集成开发环境,对新手友好,不需要配置环境,上手就可以使用 2.大部分网课教程都在使用,避免产生冲突 下载网址:Visual Studio 产…

c语言学的是什么,C语言怎么学?

计算机有一种专业叫c语言,那么什么是c语言,怎么去学它?能给我们带来什么?这篇文章主要是针对此内容做一讲解! c语言是一种电脑程序设计语言。它有高级语言的特点,也有整编语言的特征。可以作为系统设计和应…

为什么要学好c语言,c语言到底多重要,你造吗

一、前言 对于理工 科学生来说,这个答案可能很简单,因为这是一门必修课。而对于程序员来说选择一门编程语言,在某种程度上,对职业生涯的发展会产生重大的影响,所以必须慎 之又慎。那么,为什么要选择一门诞…

零基础如何学好C语言?

经常有人会这样问"我没有一点基础,该如何入门C语言,该如何学好C语言 ?"看到很多初学者摸不到门路,我在这里制定了相应的学习计划,对于零基础新手一定会有很大的帮助。 很多新手认为学习C语言离不开记忆语法&#xff0c…

怎样学习C语言?

一 、怎样学习C语言 很多人对学习C语言感到无从下手,经常问我同一个问题:究竟怎样学习C语言?我是一个教师,已经开发了很多年的程序,和很多刚刚起步的人一样,学习的第一个计算机语言就是C语言。 经过这些年的…

如何学好C语言--你的学渣朋友告诉你

光说不练假把式,光练不说傻把式,又练又说真把式。 真实感受,不是我不想学,是我真的不知道我哪里不会啊和得怎么做啊?本文作者当初就是这么废掉的 推荐两个练习的网站 (一)C语言网 https://www.dotcpp.com/ 水题基…

学好C语言,你只需要这几句口诀!

学好C语言的秘诀就是1234:“一字真言,两种态度,三个框架,四项注意”。 一、一字真言 各位看官,学好C语言,其实只需一个字,那就是“编”。 (一)编。 学习C语言&#x…

推荐给初学者:如何学好C语言?

点击上方“大鱼机器人”,选择“置顶/星标公众号” 福利干货,第一时间送达! 学习C语言不是一朝一夕的事情,但也不需要花费十年时间才能精通。如何以最小的代价学习并精通C语言是本文的主题。请注意,即使是“最小的代价”…

如何学好C语言?

目录 零基础学习C语言该怎么入门?第一步 视频课程第二步 阅读配套教材第三步 完成配套练习习题第四步 如果题目不会做怎么办?第五步 如果参考答案看不懂怎么办?第六步 熟练使用C语言第七步 全面理解C语言第八步 精通C语言第九步 C语言实战 零…

新手如何学好C语言?

作为一名资深码农,在软件行业也拼搏了十多年,这里跟想学习C语言的萌新童鞋分享下我的个人学习心得!!! 在大学时代,我们大二才开始学习C语言(起步有点晚啊),第一次看到那…