hue执行workflow工作流出现直接FAILED

article/2025/8/14 21:20:35

场景:

执行以下任务流的时候就出现了直接失败的情况

在第一次执行并且数据完善的情况下测试的,状态是成功的

但是第二次是在第一次基础上测试的,基础数据有所缺失

日志为:

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]Oozie Launcher failed, finishing Hadoop job gracefully
Oozie Launcher, uploading action data to HDFS sequence file: hdfs://master:8020/user/yarn/oozie-oozi/0000001-210222093847775-oozie-oozi-W/shell-0b5f--shell/action-data.seq
Successfully reset security manager from org.apache.oozie.action.hadoop.LauncherSecurityManager@314b8f2d to null
Oozie Launcher ends

分析:

1、所有脚本都是这样,还是极个别脚本引起的异常失败整个工作流

2、是否和数据有关(大概率),为什么

然后之后做了一系列的测试工作,先是把两种不同数据源的脚本分开测试,得到的就是日志脚本的问题,就是没有数据的情况下会执行错误 KILLED

为什么呢?

因为shell脚本直接报的KILLED,导致程序直接异常退出

怎么规避呢

在这种情况下出现两种猜想和解决方法

  1. oozie有没有可以直接配置的方法直接跳过任务流某个节点脚本的任务状态FAILED(直接异常停止了脚本),这样能够保证在所有环节里面都能够正常执行而不会因为某些无法避免的错误而停止整个流程
  2. 脚本控制,通过查询hdfs上面是否有相关数据文件的方法进行脚本内命令执行控制

通过查阅资料和相关论坛,都没有找到第一种方法的配置,所以只有第二种方法进行

具体实现方法,在shell脚本中加入相关判断

具体如下:

# 限制 不然会出现异常退出导致任务流失败
hadoop fs -test -e /origin_data/marketing_system/log/topic_start/$do_date
if [ $? -eq 0 ] ;thenhadoop fs -test -e /origin_data/marketing_system/log/topic_start/$do_date/*.lzoif [ $? -eq 0 ]; thennum=1fi
elsenum=2
fiif [ ${num} -eq 1 ];thenhive -e "$sql"hdfs dfs -rm -r /origin_data/marketing_system/log/topic_start/$do_date/
fi

 


http://chatgpt.dhexx.cn/article/qpsKi7FC.shtml

相关文章

Git Workflow工作流示意图

来自:http://blog.osteele.com/posts/2008/05/my-git-workflow UPDATE: git pretty 来自: http://justinhileman.info/article/git-pretty/full/ from: http://iccm.cc/git-workflow/

使用Python开源库Couler编写和提交Argo Workflow工作流

Python 是用户在 Kubernetes 上编写机器学习工作流的流行编程语言。 开箱即用时,Argo 并没有为 Python 提供一流的支持。相反,我们提供Java、Golang 和 Python API 客户端[1]。 但这对大多数用户来说还不够。许多用户需要一个抽象层来添加组件和特定于…

SharePoint 2013 Nintex Workflow 工作流帮助(八)

博客地址 http://blog.csdn.net/foxdave 工作流动作 15. Complete Workflow Task(User interaction分组) 此工作流动作将完成任何进行中的任务,它将处理足够的单独任务来达到选择的结果,接下来工作流引擎会依据工作流的设置处理…

工作流(Workflow) -- 实现简单工作流程

工作流(activiti) 工作流简介 业务过程的部分或整体在计算机应用环境下的自动化 工作流就是多个参与者,按照某种预定义的规则,传递业务信息,进行审核的功能一个框架(activiti) 核心 23张表 ACT_RE_*:RE’表示repository。 这个前缀的表包含了流程定义和流程静态资源 (…

wf工作流java_WF Workflow 状态机工作流 开发

概述 工作流是对业务流程的建模,当我们设计工作流的时候,我们首先要分析业务处理过程中要经历的步骤。然后,我们就可以利用WF创建工作流模型来模拟业务的处理过程。 我们知道,WF包含两种类型的工作流:顺序工作流和状态…

Mendix 9.6 - Workflow(工作流)基础设计

一 概述 Workflow(工作流)是Mendix 9版本中新增的一种可视化语言功能模块,我们可以用它来构建可扩展的流程。此外它还与其他可视化语言完全集成,例如微流编辑器和页面编辑器。 在公司我们往往需要填写许多表单,包括行政、人事、IT等方面的&a…

workflow工作流(三):画流程图工具对比

一、总结 我所用过能画工作流的工具有2个:1.eclipse插件,2.flowable官方网页版,结论是eclipse插件好用,后者要上传下载,还容易丢数据 注意事项:eclipse插件画出来的bpmn文件的schama是activiti&#xff0…

Bladex Workflow工作流引擎开发进阶-版本v1.2.2

Bladex Workflow工作流引擎开发进阶 1 Bladex Workflow简介2 Flowable简介3 workflow部署和配置-参考文档《BladeX插件 - Blade-flow使用帮助文档 》4 配置任务监听4.1 问题:监听类注入不了service 5 配置事件监听6 复杂表单-配置外部表单(不建议配置超大…

workflow工作流(二):34张表

1.常用的表 2.总共34张表 Activiti的后台是有数据库的支持,所有的表都以ACT_开头。 第二部分是表示表的用途的两个字母标识。 用途也和服务的API对应。 ACT_RE_*: RE表示repository。 这个前缀的表包含了流程定义和流程静态资源 (图片,规则&…

SAP Workflow 工作流开发步骤总结

一、配置 SWU3 设置管理员 二、新建业务对象 查看我们需要增强的业务对象,比如我们项目上用的是BUS2000114,一般我们工作流的触发 是用单据状态的改变来触发,这就需要我们增强业务对象 使用SWO1 新建一个业务对象 继承上面的标准对象 注意…

小小研究一下工作流WorkFlow

修房子 在小牧老家农村,小时候总是看到村里有人在修房子。每次看到有人修房子的时候,他就会爬到房子面前的沙粒堆上去,翻找随着沙子一起被挖出来的贝壳。虽然也不知道拿来干嘛,不过总觉得收集贝壳很好玩。 小牧也喜欢看他们修房子。修房子的时候,专业的修房师傅会指导工…

微软 workflow 工作流总结

1.状态机工作流 (1)状态机工作流从state1 流转到 state2 到stateN (2) state中有执行状态和退出状态 (3) 在进入下一个步骤(state1 到 state2)前,首先会判断进入下一个状态的条件,下面我把它叫做判断模块 (4)在判断模块中,有三个生命周期:Trigger,Condition,Action (5)判断模…

WorkFlow工作流

工作流 一、什么是工作流 历史发展: 工作流的理论起源于70年代中期办公的自动化领域。90年代。工作流技术的研究与开发进一步发展。1993年8月,成立第一个工作流技术标准话的工业组织WFMC(工作流管理联盟)。现在,工作…

工作流(Workflow)基本介绍

工作流简介 工作流(Workflow),就是“业务过程的部分或整体在计算机应用环境下的自动化”,它主要解决的是“使在多个参与者之间按照某种预定义的规则传递文档、信息或任务的过程自动进行,从而实现某个预期的业务目标&a…

Eclipse下配置主题颜色

对于长期做开发的哥们来说,过于明亮的背景色会导致视觉疲劳,从而致使效率各种下降、困意各种来袭。为了有效阻止这种可怕的事情发生,我们需要改变背景色! OK,这篇博客主要讲解如何设置eclipse软件的背景色:…

修改eclipse的主题颜色

很多小伙伴的eclipse都是以白色为主,看到别人的暗色的eclipse感觉很炫酷,这里就教大家一下如何改主题颜色 1.点击顶部导航栏help,找到Eclipse Marketplace 2.在弹出的Eclipse Marketplace窗口中,在search中搜索color theme&…

eclipse设置 “暗黑色” 主题

经典模式的 eclipse 都是白底黑字,比较刺眼,长时间写代码,让人感觉眼睛疲劳,所以尝试换一个暗黑色主题背景,可以有效减缓眼睛疲劳,而且暗黑色主题给人感觉就很酷炫,有木有! 1、打开…

Eclipse背景主题设置

这方面的内容是很简单,而且网上也相当多的教程。但我觉得,自己写一下,既可以加持自己写博客的心态,也给需要的人分享一下。 确认一下自己的Eclispse版本, 如果是最新版本的Eclipse Luna,可以略过第一步,如果是旧的版本需要下载一个插件,并将其放在eclipse目录下的plugi…

Eclipse在线安装color-theme主题

添加入口: Eclipse --> Help --> Install New Software --> addName: color-theme Location: http://eclipse-color-theme.github.com/update全选 NEXT 接受协议 选择 Install anyway Restart Now 重启 Window --> Preference --> General --> Appe…

为Eclipse安装主题插件(Color Theme)

由于正常eclipse界面配色是白底黑字,长时间工作容易眼睛疲劳,才想着去装这个Eclipse Color Theme 插件,安装过程中遇到了一些问题。 正常安装的话直接 Help -> marketplace -> search 框下输入 color theme 就可以搜索到目标插件&am…