Cloudera5.14配置

准备工作
1. 软件下载
2. 软件安装
  1. JDK安装

所有节点

安装
环境变量配置

sudo vim /etc/profile

export JAVA_HOME=/usr/java/default

export PATH=$JAVA_HOME/bin:$PATH

使用root用户

echo "JAVA_HOME=/usr/java/default" >> /etc/environment

1. 1. Mysql安装

https://blog.csdn.net/u014646662/article/details/75195739

1. 1. Httpd安装

yum install httpd

service httpd start

chkconfig httpd on

1. 1. Mod_ssl安装

yum install mod_ssl

1. Linux环境配置
  1. 环境变量配置
  2. 主机配置

每一台都要配，以Manager节点为例，其他节点配置方法相同

表1-1 主机配置

IP	HostName	Node
192.168.160.128	cloudera.manager	Manager
192.168.160.135	cloudera.agent1	Agent
192.168.160.n…	cloudera.agent…	Agent

修改主机名：

sudo vim /etc/sysconfig/network

使用root用户（vim 编辑也可）

echo "cloudera.manager" > /etc/hostname

修改hosts文件

sudo vim /etc/hosts

重启网卡

sudo service network restart

如果启动失败

启动失败如果是没有发现网卡驱动，请检查网卡的名字（ifconfig），是否与配置的一致

配置：

sudo vim /etc/udev/rules.d/70-persistent-net.rules

配置的网卡name

sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0 (编辑你使用的网卡)

DEVICE="eth0"

BOOTPROTO="dhcp"

HWADDR="00:0C:29:C0:68:D6"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="66563504-826a-4fff-9088-8cf8159a1e37"

这些操作之后应该网卡就可以正常启动了，顺便提示一下，如果你的虚拟机是复制的，那你要更改UUID，使每一台机器UUID都是唯一的

重启linux

reboot

系统重启后，检查是否配置成功

hostname

关闭防火墙

关闭

sudo service iptables stop

sudo chkconfig iptables off

查看状态

sudo service iptables status

关闭SELinux

sudo vim /etc/selinux/config

修改：

SELINUX=disabled

Ntp 配置

如果你没有装，请先安装(redhat 系统自带)

yum install ntp

该配置除Manager节点外都要配，即只配Agent

sudo vim /etc/ntp.conf

修改内容

server cloudera.manager

启动ntp

service ntpd start

chkconfig ntpd on

查看启动状态

sudo service ntpd status

命令查看同状态

ntpstat

1. 1. MySQL初始化

主节点

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database activity DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

grant all privileges on *.* to 'root'@'localhost' identified by 'ztx' with grant option;

grant all privileges on *.* to 'root'@'cloudera.manager' identified by 'ztx' with grant option;

flush privileges;

1. 1. SSH配置

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@cloudera.agent1:~/.ssh/

scp ~/.ssh/authorized_keys lucky@cloudera.agent1:~/.ssh/

Cloudera安装
1. Cloudera 解压

每台机器操作相同

进入安装包的路径

cd /opt/

mkdir /opt/cloudera-manager /opt/cloudera

解压cloudera-manager

tar -xzvf cloudera-manager-el6-cm5.14.3_x86_64.tar.gz -C /opt/cloudera-manager

mv /opt/cloudera-manager/cloudera/* /opt/cloudera/

1. 创建cloudera-scm用户

每台机器

sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM" cloudera-scm

由于Cloudera Manager和Managed Services默认使用clouderascm，所以需要创建此用户

1. Cloudera配置
  1. 主节点配置

sudo mkdir /var/lib/cloudera-scm-server

sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

1. 1. Agent配置

配置所有节点的Agent，

vim /opt/cloudera-manager/cm-5.14.3/etc/cloudera-scm-agent/config.ini

1. 1. MySQL配置

注意去除了版本号

所有节点

mv mysql-connector-java-5.1.38.jar /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar

主节点

/opt/cloudera-manager/cm-5.14.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pztx --force --scm-host localhost scm scm scm

--force 是忽略错误，

1. 1. 安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo目录

最后将CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha1,重命名为CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha,这点必须注意，否则，系统会重新下载CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel文件