Oozie--安装部署

article/2025/9/16 12:54:36

Oozie的部署

  • 1、上传解压
  • 2、配置Hadoop代理用户
  • 3、重启Hadoop集群
  • 4、解压lib包
  • 5、引入extjs
  • 6、修改oozie配置文件
  • 7、创建oozie元数据库
  • 8、初始化oozie
      • 为什么要将oozie的这些jar包放到hdfs上?
  • 9、生成web项目
  • 10、配置环境变量
  • 11、Oozie的启动与关闭
  • 12、修改界面默认时区

  • 参考: http://oozie.apache.org/docs/4.1.0/DG_QuickStart.html

1、上传解压

  • 以第一台机器为例
  • 使用filezila或者SecureFx或者XFTP来上传
    在这里插入图片描述
cd /export/software/
tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz -C /export/servers/

2、配置Hadoop代理用户

  • 在Hue阶段已配置过不需要配置:oozie需要调度Hadoop,依赖于YARN,所以需要配置代理
  • 在工作中每个框架有自己的用户来负责管理,大数据的所用户属于同一个用户组
<property><name>hadoop.proxyuser.root.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.root.groups</name><value>*</value>
</property>

3、重启Hadoop集群

start-dfs.sh
mr-jobhistory-daemon.sh start historyserver
start-yarn.sh

4、解压lib包

cd /export/servers/oozie-4.1.0-cdh5.14.0
tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz -C ../

5、引入extjs

cd /export/servers/oozie-4.1.0-cdh5.14.0
mkdir -p libext
#将hadoop程序的依赖包放入oozie的依赖目录
cp -ra hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-cdh5.14.0/* libext/
#将mysql的连接驱动包放入oozie的依赖目录,后面oozie的元数据要存储在MySQL
cp /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar libext/
#将extjs的包放入oozie的依赖目录,用于构建oozie的web页面
cp /export/software/ext-2.2.zip libext/

6、修改oozie配置文件

  • 修改conf/oozie-site.xml
<!--配置Oozie的元数据存储为MySQL-->
<property><name>oozie.service.JPAService.jdbc.driver</name><value>com.mysql.jdbc.Driver</value>
</property>
<property><name>oozie.service.JPAService.jdbc.url</name><value>jdbc:mysql://node-03:3306/oozie</value>
</property>
<property><name>oozie.service.JPAService.jdbc.username</name><value>root</value>
</property>
<property><name>oozie.service.JPAService.jdbc.password</name><value>123456</value>
</property>
<!--配置Oozie的时区-->
<property><name>oozie.processing.timezone</name><value>GMT+0800</value>
</property>
<!--配置Oozie的最小调度频率是否低于5分钟-->
<property><name>oozie.service.coord.check.maximum.frequency</name><value>false</value>
</property> 
<!--配置与Hadoop的关联--> 
<property><name>oozie.service.HadoopAccessorService.hadoop.configurations</name><value>*=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop</value>
</property>
<!--配置oozie的代理用户--> 
<property><name>oozie.service.ProxyUserService.proxyuser.root.hosts</name><value>*</value>
</property>
<property><name>oozie.service.ProxyUserService.proxyuser.root.groups</name><value>*</value>
</property>

7、创建oozie元数据库

  • 第三台机器MySQL中执行
mysql -uroot -p
create database oozie;

8、初始化oozie

  • 将Oozie需要用到的所有jar包放在HDFS上
cd /export/servers/oozie-4.1.0-cdh5.14.0
#将oozie运行时需要用到的jar包上传到hdfs上
bin/oozie-setup.sh  sharelib create -fs hdfs://node-01:8020 -locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz
#初始化oozie的元数据存储
bin/oozie-setup.sh  db create -run -sqlfile oozie.sql

为什么要将oozie的这些jar包放到hdfs上?

  • oozie是将工作流变成一个 MapReduce程序运行,具体运行在哪一台机器,由YARN决定,这是随机的
  • 运行工作流时需要用到各种各样 的jar包,当前这些jar包只在第一台机器有
  • oozie的解决方案:
    • 将所有需要用到的jar包,放到HDFS上,工作流运行时从hdfs上读取jar包,不用从某台机器上读

9、生成web项目

cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie-setup.sh  prepare-war

10、配置环境变量

vim /etc/profile
​
export OOZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0
export OOZIE_URL=http://node-01:11000/oozie
export PATH=$PATH:$OOZIE_HOME/bin
​
source /etc/profile

11、Oozie的启动与关闭

  • 启动
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozied.sh start 
  • web界面
http://node-01:11000
  • 关闭
bin/oozied.sh stop

12、修改界面默认时区

cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/webapps/oozie
vim oozie-console.js#修改179行:
return Ext.state.Manager.get("TimezoneId","GMT+0800");
#修改2635行
var currentTimezone = Ext.state.Manager.get("TimezoneId","GMT+0800");

http://chatgpt.dhexx.cn/article/yNS18vts.shtml

相关文章

【Oozie】CDH集群的oozie手把手快速入门

背景 在今天中午&#xff0c;本人快乐的干饭的时候&#xff0c;领导打电话过来询问oozie是个什么样的东西&#xff0c;能不能有个用例&#xff1f;在本人的理解里面&#xff0c;oozie主要是个调度工具。所以本篇为CDH集群的oozie的快速入门教程 环境准备 CDH集群一套CDH集群…

Oozie5.2.1源码编译及安装部署

Oozie5.2.1源码编译 一、准备工作二、开始编译三、安装部署四、运行测试五、总结六、编译后得版本 说明&#xff1a; 官网下载最新版本:https://oozie.apache.org/依赖环境&#xff1a;CentOS7JDK1.8maven-3.6.3pig-0.17.0参考官网 一、准备工作 下载maven、安装、修改setting…

关于oozie

一、定义 1.oozie是一个管理apache hadoop作业的工作调度系统 2.oozie的workflow jobs是由actions组成的有向无环图(DAG) 3.oozie的coordinate jobs是由时间(频率)和数据可用性的重复的workflow jobs . 4.oozie 与hadoop生态圈的其他部分及车鞥在一起&#xff0c;支持多种类型…

任务调度之Oozie详解

利用shell脚本通过crontab进行定时执行&#xff0c;这样实现的话比较简单&#xff0c;但是随着多个job复杂度的提升&#xff0c;无论是协调工作还是任务监控都变得麻烦&#xff0c;我们选择使用oozie来对工作流进行调度监控。 1. Oozie的特点 Oozie是管理hadoop作业的调度系统…

Oozie简介

在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起&#xff0c;这样才能够达到目的。[1]在Hadoop生态圈中&#xff0c;有一种相对比较新的组件叫做Oozie[2]&#xff0c;它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中&#xff0c;从而完成更大型的任务…

Oozie

文章目录 **一、** **Apache Oozie****1&#xff0e;** **Oozie概述****2&#xff0e;** **Oozie的架构****3&#xff0e;** **Oozie**基本原理**3.1&#xff0e;** **流程节点** **4&#xff0e;** **Oozie工作流类型****4.1&#xff0e;** **Work**Flow**4.2&#xff0e;** *…

工作流调度工具--Oozie

一、背景 一个完整的数据分析系统通常是由大量的任务单元组成&#xff0c;Shell脚本、Java程序、MapReduce程序、Hive脚本等等&#xff0c;各个任务单元之间存在时间先后及前后依赖关系。 为了很好的组织这样的复杂执行计划&#xff0c;需要一个工作流调度系统来调用执行。 简…

Oozie基础入门

前言&#xff1a; 因为工作需要用到oozie&#xff0c;但是网上的资料越看越迷茫&#xff0c;经过很大的努力&#xff0c;终于折腾清楚了&#xff0c;这里&#xff0c;做一个总结&#xff0c;帮助后来者更好地进行入门&#xff0c;当然&#xff0c;粗鄙之言&#xff0c;难免疏漏…

大数据调度工具oozie详细介绍

背景&#xff1a; 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行&#xff0c;这样实现的话比较简单&#xff0c;但是随着多个job复杂度的提升&#xff0c;无论是协调工作还是任务监控都变得麻烦&#xff0c;我们选择使用oozie来对工作流进行调…

oozie详解

1、什么是Oozie Oozie是一种java web应用程序&#xff0c;它运行在java servlet容器中&#xff0c;并使用数据库来存储一下内容&#xff1a; ①工作流定义 ②当前运行的工作流实例&#xff0c;包括实例的状态和变量 Oozie工作流失放置在控制依赖DAG(有向无环图)中的一组动作&am…

大数据Hadoop之——任务调度器Oozie(Oozie环境部署)

文章目录 一、概述二、Oozie架构三、Oozie环境部署&#xff08;Oozie与CDH集成&#xff09;1&#xff09;添加服务2&#xff09;将 Oozie 服务添加到 CDH3&#xff09;自定义角色分配4&#xff09;数据库设置5&#xff09;审核更改6&#xff09;开始自动安装并自启 四、CDH的 H…

Java并发编程(一):多线程与并发原理回顾

今天来聊一聊经典的Java技术&#xff0c;并发编程。并发是程序的灵魂&#xff0c;一个优秀的Java程序一定会支持高并发&#xff0c;并且&#xff0c;并发编程也是面试环节中经常会问到的一个问题&#xff0c;那么今天我们以一道经典的Java面试题回顾一下Java的并发编程。废话不…

java并发编程的艺术和并发编程这一篇就够了

java并发编程的艺术(精华提炼) 通常我们在使用编发编程时,主要目的是为了程序能够更快的处理,但是并不是说更多的线程就一定能够让程序变得足够快,有时候太多的线程反而消耗了更多的资源,反而让程序执行得更缓慢 一.CPU的上下文切换 就算是单核CPU是能够处理多线程任务的,它只…

JAVA并发编程总结

一、基础知识 1.1 线程安全 当多个线程访问某个类时&#xff0c;这个类始终都能表现出正确的行为&#xff0c;那么就称这个类是线程安全的。 CAP理论 原子性 我们把一个或者多个操作在CPU执行的过程中不被中断的特性称为原子性. 可见性 当一个线程修改了对象状态后&#xf…

Java并发:整理自《Java并发编程实战》和《Java并发编程的艺术》

声明&#xff1a;Java并发的内容是自己阅读《Java并发编程实战》和《Java并发编程的艺术》整理来的。 图文并茂请戳 思维导图下载请戳 目录 (1)基础概念 (2)线程 (3)锁 (4)同步器 (5)并发容器和框架 (6)Java并发工具类 (7)原子操作类 (8)Executor框架(执行机制) (9)…

Java并发编程的艺术-并发编程基础

Java从诞生开始就明智地选择了内置对多线程的支持&#xff0c;这使得Java语言相比同一时期的其他语言具有明显的优势。线程作为操作系统调度的最小单元&#xff0c;多个线程能够同时执行&#xff0c;这将显著提升程序性能&#xff0c;在多核环境中表现得更加明显。但是&#xf…

java并发编程(下篇)

java里的阻塞队列 ArrayBlockingQueue 数组结构组成的有界阻塞队列 LinkedBlockingQeque 链表结构的无界阻塞队列 PriorityBlockingQueue 支持优先级排序的无界阻塞队列 DelayQueue 使用优先级队列实现的无界阻塞队列 LinkedBlockingDeque 链表结构组成的双向队列 并发工具…

Java并发编程之美——第一章 Java并发编程基础

文章目录 Time 2021-12-26——Hireek什么是线程线程的等待和通知等待线程终止的join方法让线程睡眠的sleep方法让出CPU执行权的yield方法线程中断demo 线程上下文切换线程死锁什么是死锁如何避免死锁 用户线程与守护线程ThreadLocalintroduction&#xff0c;下文只阐述重要的se…

Java并发编程入门这一篇就够了(文章很长,但很好哦)

Java并发编程入门这一篇就够了 一、进程与线程1. 进程2. 线程3. 二者对比 二、并行与并发三、Java线程1. 创建和运行线程2. 线程运行原理3. 常见方法4. 常用方法详解及异同区分5. 两阶段终止模式&#xff08;使得线程优雅的退出&#xff09;6.主线程与守护线程7. 线程五种状态8…

Java并发编程之Java线程

文章目录 前言01、线程简介02、线程池03、线程间通信总结 前言 记录一下Java并发编程的知识点。有部分内容是借鉴《Java并发编程的艺术》这本书的。本次先介绍一下线程。 01、线程简介 进程和线程的区别 进程&#xff1a;当一个程序被运行&#xff0c;即把程序的代码从磁盘加载…