Oozie的部署 1、上传解压 2、配置Hadoop代理用户 3、重启Hadoop集群 4、解压lib包 5、引入extjs 6、修改oozie配置文件 7、创建oozie元数据库 8、初始化oozie 为什么要将oozie的这些jar包放到hdfs上? 9、生成web项目 10、配置环境变量 11、Oozie的启动与关闭 12、修改界面默认时区
参考: http://oozie.apache.org/docs/4.1.0/DG_QuickStart.html
1、上传解压
以第一台机器为例 使用filezila或者SecureFx或者XFTP来上传
cd / export/ software/
tar - zxvf oozie- 4. 1. 0- cdh5. 14. 0. tar. gz - C / export/ servers/
2、配置Hadoop代理用户
在Hue阶段已配置过不需要配置 :oozie需要调度Hadoop,依赖于YARN,所以需要配置代理在工作中每个框架有自己的用户来负责管理,大数据的所用户属于同一个用户组
< property> < name> hadoop.proxyuser.root.hosts</ name> < value> *</ value>
</ property>
< property> < name> hadoop.proxyuser.root.groups</ name> < value> *</ value>
</ property>
3、重启Hadoop集群
start - dfs. sh
mr- jobhistory- daemon. sh start historyserver
start - yarn. sh
4、解压lib包
cd / export/ servers/ oozie- 4. 1. 0- cdh5. 14. 0
tar - zxvf oozie- hadooplibs- 4. 1. 0- cdh5. 14. 0. tar. gz - C . . /
5、引入extjs
cd / export/ servers/ oozie- 4. 1. 0- cdh5. 14. 0
mkdir - p libext
cp - ra hadooplibs/ hadooplib- 2. 6. 0- cdh5. 14. 0. oozie- 4. 1. 0- cdh5. 14. 0/* libext/
cp / export/ servers/ hive- 1. 1. 0- cdh5. 14. 0/ lib/ mysql- connector- java- 5. 1. 38. jar libext/
cp / export/ software/ ext- 2. 2. zip libext/
6、修改oozie配置文件
< property> < name> oozie.service.JPAService.jdbc.driver</ name> < value> com.mysql.jdbc.Driver</ value>
</ property>
< property> < name> oozie.service.JPAService.jdbc.url</ name> < value> jdbc:mysql://node-03:3306/oozie</ value>
</ property>
< property> < name> oozie.service.JPAService.jdbc.username</ name> < value> root</ value>
</ property>
< property> < name> oozie.service.JPAService.jdbc.password</ name> < value> 123456</ value>
</ property>
< property> < name> oozie.processing.timezone</ name> < value> GMT+0800</ value>
</ property>
< property> < name> oozie.service.coord.check.maximum.frequency</ name> < value> false</ value>
</ property>
< property> < name> oozie.service.HadoopAccessorService.hadoop.configurations</ name> < value> *=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop</ value>
</ property>
< property> < name> oozie.service.ProxyUserService.proxyuser.root.hosts</ name> < value> *</ value>
</ property>
< property> < name> oozie.service.ProxyUserService.proxyuser.root.groups</ name> < value> *</ value>
</ property>
7、创建oozie元数据库
mysql - uroot - p
create database oozie;
8、初始化oozie
cd / export/ servers/ oozie- 4. 1. 0- cdh5. 14. 0
bin/ oozie- setup. sh sharelib create - fs hdfs:/ / node- 01:8020 - locallib oozie- sharelib- 4. 1. 0- cdh5. 14. 0- yarn. tar. gz
bin/ oozie- setup. sh db create - run - sqlfile oozie. sql
为什么要将oozie的这些jar包放到hdfs上?
oozie是将工作流变成一个 MapReduce程序运行,具体运行在哪一台机器,由YARN决定,这是随机的 运行工作流时需要用到各种各样 的jar包,当前这些jar包只在第一台机器有 oozie的解决方案: 将所有需要用到的jar包,放到HDFS上,工作流运行时从hdfs上读取jar包,不用从某台机器上读
9、生成web项目
cd / export/ servers/ oozie- 4. 1. 0- cdh5. 14. 0
bin/ oozie- setup. sh prepare- war
10、配置环境变量
vim / etc/ profile
export OOZIE_HOME=/ export/ servers/ oozie- 4. 1. 0- cdh5. 14. 0
export OOZIE_URL=http:/ / node- 01:11000/ oozie
export PATH=$PATH :$OOZIE_HOME / bin
source / etc/ profile
11、Oozie的启动与关闭
cd / export/ servers/ oozie- 4. 1. 0- cdh5. 14. 0
bin/ oozied. sh start
http:/ / node- 01:11000
bin/ oozied. sh stop
12、修改界面默认时区
cd / export/ servers/ oozie- 4. 1. 0- cdh5. 14. 0/ oozie- server/ webapps/ oozie
vim oozie- console. js
return Ext. state. Manager. get( "TimezoneId" , "GMT+0800" ) ;
var currentTimezone = Ext. state. Manager. get( "TimezoneId" , "GMT+0800" ) ;