cdh安装及配置

article/2025/11/6 14:59:54

一、修改linux主机名称

vim /etc/sysconfig/network
三台虚拟机修改后重启

centos7修改方法：

[root@centos7 ~]$ hostnamectl set-hostname 要修改的主机名.magedu.com             # 使用这个命令会立即生效且重启也生效
[root@centos7 ~]$ hostname                                                 # 查看下
centos77.magedu.com
[root@centos7 ~]$ vim /etc/hosts                                           # 编辑下hosts文件， 给127.0.0.1添加hostname
[root@centos7 ~]$ cat /etc/hosts                                           # 检查
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 centos77.magedu.com
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

二、配置三台主机的映射

编辑文件 vim /etc/hosts 末尾添加： 192.168.1.14 gz001 192.168.1.16 gz002 192.168.1.17 gz004

（3台主机的主机名称与IP地址的映射）

三、Windows上配置hosts

Windows 客户端连接 Linux 主机，既可以通过 IP去连接，也可以通过主机名称去连接，需要修改 Windows 目录下面的配置

C:\Windows\System32\Drivers\etc\hosts

四、关闭防火墙

暂时性的关闭：service iptables stop 
永久性开启：chkconfig iptables on永久行关闭：chkconfig iotables off

五、ssh免密登录

首先生成服务器密钥
- ssh-keygen
拷贝服务器公钥至主机gouzheng01（注意三台主机俩俩之间互相免密）
- ssh-copy-id 主机名
测试是否免密成功
- ssh 主机名

六、上传 JDK 压缩包

tar zxvf jdk1.8.0_144.tar.gz
配置jdk 环境（vim /etc/profile ）
- jdk环境 export JAVA_HOME=/opt/jdk1.8.0_144 PATH=$PATH:$JAVA_HOME/bin

七、设置 NTP

所有节点安装 NTP：

yum install ntp

配置开机启动：

chkconfig ntpd on

检查是否设置成功：

chkconfig --list ntpd （2-5 为 on 状态则成功）

设置同步：

ntpdate -u ntp.sjtu.edu.cn（时钟服务器根据实际环境设置、本文采用 210.72.145.44-国家授时中心服务器 IP 地址）

八、开启mysql设置权限

搜索 mysql 软件
- 命令： yum search mysql
安装 mysql server 服务
- 命令： yum -y install mysql-server.x86_64
安装 mysql 客户端
- 命令： yum –y install mysql.x86_64 （一般安装好服务客户端就安装好了）
设置 mysql 服务开机启动
- 命令： chkconfig mysqld on
启动 mysql 服务
- 命令： service mysqld start
命令行连接mysql 服务
- 命令： mysql
- ==> mysql -hlocalhost –uroot –p
  
  参数 –h mysql 服务在哪台主机上面
  
  参数 –u 连接 mysql 的用户名
  
  参数 –p 密码
创建一个名称是 ambari 的数据库
- 命令： CREATE DATABASE ambari DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
权限设置
- 备注：
  
  % 允许所有主机远程连接 mysql 服务
  
  . 允许访问所有数据库的所有表
  
  root 连接 mysql 服务的时候使用的用户名
- 允许所有的主机使用用户 root和密码 123456 去访问所有数据的所有密码。
- 命令 : grant all privileges on . to 'root'@'%' identified by '123456';
- 命令： flush privileges;
- 允许单个主机（localhost）使用用户 root和密码 123456 去访问所有数据的所有密码。
- 命令 : grant all privileges on . to 'root'@'cdh1' identified by 'root';
- 命令 : flush privileges;
Windows 工具连接mysql
localhost root // mysql –uroot –p
- gz001 root 123456 // mysql -hgz001 –uroot –p123456
  
  127.0.0.1 root // mysql –h127.0.0.1 –uroot –p
  
  % root 123456 // 允许远程主机 mysql –h127.0.0.1 –uroot –p123456

九、下载依赖包

yum -y install chkconfig

yum -y install python (2.6 required for CDH 5)

yum -y install bind-utils

yum -y install psmisc

yum -y install libxslt

yum -y install zlib

yum -y install sqlite

yum -y install cyrus-sasl-plain

yum -y install cyrus-sasl-gssapi

yum -y install fuse

yum -y install portmap

yum -y install fuse-libs

yum -y install redhat-lsb

十、安装 Cloudera Manager Server&Agent

拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点

创建 cm 目录：

mkdir /opt/cloudera-manager

解压 cm 压缩包：

tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户** cloudera-scm**（所有节点）

执行：

useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置 CM Agent

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中server_host 以及 server_port

4、配置CM Server 的数据库

将驱动包拷贝到目录下（注意拷贝过去的驱动包名字一定要和下边的一样，否则会报错）：

cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar

执行： 1.mysql> grant all on . to 'temp'@'%' identified by 'temp' with grant option;

2.cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema

3../scm_prepare_database.sh mysql -h 主机名数据库 -utemp -ptemp --scm-host 主机名 scm scm scm

例如：北京尚学堂科技有限公司云计算大数据实战班

./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm

（对应于：数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….）

mysql> drop user 'temp'@'%';