Oozie工作流框架使用指南
CAXA协同管理-工作流用户手册
CAXA协同管理-工作流用户手册不经特别说明，本手册内容会随软件版本的不同发生变化。
未经版权所有者的书面允许，任何人不能以任何方式翻印、传播手册的内容。
版权所有（C）2010北京数码大方科技有限公司手册中出现的其它公司名称或产品名称属于各自公司的商标或注册商标。
目录第1章系统简介 (1)1.1概述 (1)1.2系统配置 (2)1.3术语 (2)第2章工作流程定义工具 (5)2.1概述 (5)2.2系统启动与主界面 (5)2.3模板应用程序管理 (8)2.4模板参与者管理 (13)2.5模板的（主）流程属性 (14)2.5.1基本属性 (15)2.5.2流程事件 (17)2.5.3数据声明 (20)2.5.4流程形参 (21)2.5.5责任人 (22)2.5.6启动设置 (23)2.5.7扩展属性 (23)2.6模板节点属性 (24)2.6.1开始活动节点 (25)2.6.2 工作活动节点 (31)2.6.3 应用活动节点 (39)2.6.4 子流程活动节点 (41)2.6.5 抄送活动节点 (42)2.6.6 虚拟活动节点 (43)2.6.7 结束活动节点 (44)2.7模板转移线属性 (45)2.7.1基本属性 (46)2.7.2转移线事件 (47)2.7.3转移条件 (48)2.7.4外观 (48)2.7.5扩展属性 (49)2.8新建流程模板 (49)2.8.1创建工作节点 (49)2.8.2创建应用节点 (50)2.8.3创建子流程节点 (51)2.8.4创建抄送节点 (54)2.8.5创建虚节点 (54)2.8.6删除节点 (55)2.8.7创建转移线 (55)2.8.8删除转移线 (56)2.9保存模板 (56)2.10打开流程模板 (57)2.11删除流程模板 (58)2.12模板发布与取消发布 (59)2.13模板禁用与启用 (60)2.14模板节点的拷贝与粘贴 (61)第3章工作流引擎 (62)3.1概述 (62)3.2工作流引擎服务的启动与停止 (62)第4章任务箱 (63)4.1概述 (63)4.2任务箱启动与主界面 (63)4.3任务接收与退收 (65)4.4任务提交 (67)4.5删除任务 (67)4.6关联对象树 (67)第5章工作流监控 (72)5.1概述 (72)5.2系统启动与主界面 (72)5.3一个模板的流程监控 (74)5.4流程查询与监控 (74)5.5任务查询 (77)5.6流程的暂停与恢复 (78)5.7流程终止 (78)5.8删除流程 (79)5.9流程变更 (79)5.10任务统计 (80)第6章消息提醒 (82)6.1概述 (82)6.2系统启动与主界面 (82)6.3设置 (82)6.4启动任务箱 (83)第7章工作流与应用集成 (84)7.1启动流程 (84)7.2流程权限的设置 (87)第1章系统简介1.1概述工作流是将任务工作项按照规定的路线在参与者之间进行传递的自动化系统。
北京苍穹工作流操作手册之欧阳歌谷创作
北京苍穹工作流系统欧阳歌谷（2021.02.01）操作手册北京苍穹数码测绘有限公司目录一、概述41.1 系统简介41.2属性数据库（OA）创建41.3 业务建模平台（Builder）配置51.3.1系统配置工具51.3.2生成授权文件71.5 Kqcis(OA)配置71.7 3DLib配置71.8注册8二、系统功能92.1 系统主界面92.1 我的任务92.1.1 收件箱92.1.1 在办箱92.2 土地登记102.2.1 界面介绍102.2.2 总登记162.2.3 初始登记162.2.4 变更登记172.2.5 注销登记172.2.6 其他登记182.3 查询182.3.1 权属登记查询182.3.2 他项登记查询192.3.3 查封登记查询192.3.4 异议登记查询202.3.5 预告登记查询202.3.6 注销登记查询202.4 统计212.4.1 统计分析212.4.2 申请表统计212.4.3 调查表统计212.4.4 审批表统计222.4.5 登记卡统计222.4.6 土地证统计23 2.5 地籍调查232.5.1 调查录入232.6 档案录入242.6.1 国有档案录入242.6.2 集用档案录入252.6.3 集有档案录入252.6.4 他项档案录入25 2.7 工具252.7.1 数据处理252.7.2 图文管理262.7.3 三维档案馆272.7.4 调查前置工具282.7.5基本图浏览292.8 系统管理302.8.1 日志查询302.8.2 字典设置302.8.3 用户管理312.8.4 业务管理322.8.5 档案管理32三、基本登记333.1 架构平台（XBM_Builder）333.2业务流转平台（XBM_Desktop）353.2.1 启动服务353.2.2 国有土地使用权登记353.2.3 电子签名的设置42四、档案录入454.1 调查录入454.2 档案录入45五、变更登记475.1 图形变更475.1.1 连接图形数据475.1.2 选择街坊475.1.3 选择宗地485.1.4 导出更新包485.2调查前置工具变更495.2.1 修改配置495.2.2 读入更新包数据495.2.3 宗地图形变更505.2.4 变更数据入库505.2.5 宗地属性维护515.3 导入更新包数据515.3.1 修改配置515.3.2 导入数据525.3.3 变更历史查询525.4 变更登记525.5 更新数据正式入库54一、概述1.1 系统简介苍穹国土通用工作流平台是基于C++开发的，具有流程定制、表单定制、权限（角色）定制、报表定制以及查询定制等功能。
Oozie分布式工作流——从理论和实践分析使用节点间的参数传递
Oozie分布式⼯作流——从理论和实践分析使⽤节点间的参数传递Oozie⽀持Java Action，因此可以⾃定义很多的功能。
本篇就从理论和实践两⽅⾯介绍下Java Action的妙⽤，另外还涉及到oozie中action之间的参数传递。
本⽂⼤致分为以下⼏个部分：Java Action教程⽂档⾃定义Java Action实践从源码的⾓度讲解Java Action与Shell Action的参数传递。
如果你即将或者想要使⽤oozie，那么本篇的⽂章将会为你提供很多参考的价值。
Java Action⽂档java action会⾃动执⾏提供的java class的public static void main⽅法, 并且会在hadoop集群启动⼀个单独的map-reduce的map任务来执⾏的。
因此，如果你⾃定义了⼀个java程序，它会提交到集群的某⼀个节点执⾏，不会每个节点都执⾏⼀遍。
workflow任务会等待java程序执⾏完继续执⾏下⼀个action。
当java类正确执⾏退出后，将会进⼊ok控制流；当发⽣异常时，将会进⼊error 控制流。
Java程序绝对不能使⽤System.exit(int n)将会导致action进⼊error控制流。
在action的配置中，也⽀持EL表达式。
并且使⽤<capture-output>也可以把数据输出出来，然后后⾯的action就可以基于EL表达式使⽤了。
语法规则<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1">...<action name="[NODE-NAME]"><java><job-tracker>[JOB-TRACKER]</job-tracker><name-node>[NAME-NODE]</name-node><prepare><delete path="[PATH]"/>...<mkdir path="[PATH]"/>...</prepare><job-xml>[JOB-XML]</job-xml><configuration><property><name>[PROPERTY-NAME]</name><value>[PROPERTY-VALUE]</value></property>...</configuration><main-class>[MAIN-CLASS]</main-class><java-opts>[JAVA-STARTUP-OPTS]</java-opts><arg>ARGUMENT</arg>...<file>[FILE-PATH]</file>...<archive>[FILE-PATH]</archive>...<capture-output /></java><ok to="[NODE-NAME]"/><error to="[NODE-NAME]"/></action>...</workflow-app>prepare元素，⽀持创建或者删除指定的⽂件内容。
大数据Hadoop入门第四十讲 Oozie 案例
类型
异步 同步 同步 同步 异步 异步
Workflow编辑规则
workflow任务主要由job.properties、workflow.xml和其他动作需要的资源文 件三部分组成，其中job.properties中定义workflow作业的配置信息， workflow.xml定义作业的执行工作流。workflow.xml文件是一个有定义规则的 xml文件。
workflow.xml配置规则详见:..\文档\workflow.template.xml job.properties配置参考：..\文档\job.template.properties
Workflow案例
1. 定义fs动作，在hdfs文件系统上进行文件操作。 2. 定义fs动作，判断文件夹存在，就删除，如果不存在，不进行任何操作。 3. 定义shell动作，在服务器的tmp目录下创建一个文件夹。 4. 定义hive动作，执行sql脚本，将数据导入到hive中的表中。 5. 定义mapreduce动作，执行mapreduce任务。 6. 定义java动作，执行java代码 执行命令：oozie job -oozie http://hh:11000/oozie -config xxx/job.properties run
该动作调用一个java类的main方法
异步
该动作会调用一个Pig作业
异步
该动作会运行一个mapreduce作业，可以是java的 mapreduce作业，也可以是streaming作业和pipe作业等。
该动作运行定义一个在HDFS上执行的命令(delete、mkdir、 move和chmod等)序列
异步 同步
Workflow工作流扩展action
大数据Hadoop入门第三十八讲 Oozie简介
Oozie bundle介绍
随着业务的发展，会产生越来越多的coordinator，coordinator的数量太多会 导致管理oozie的作业越来越困难，所以可以将多个coordinator作业组合成一个 bundle页面进行统一管理，简化oozie的业务管理。
Oozie 执行流程
1. 编写工作流配置文件workflow.xml、coordinator.xml以及bundle.xml。 2. 编写job环境配置信息job.properties 3. 将依赖的jar包放到lib文件夹中 4. 将上述三个步骤产生的文件/文件夹全部上传到hdfs的一个文件夹中，比如上 传到hdfs://hh:8020/oozie/flow/test1中 5. 在linux当前目录中执行: oozie job -oozie http://hh:11000/oozie config ./test1/job.properties -run
workflow的输出作为后一个workflow的输入，也可以定义workflow的触发条件， 来做定时触发。
3. bundle：对一堆coordinator的抽象。
Oozie workflow介绍1
Oozie工作流主要有两大类节点构成，分别为控制节点(control flow node)和执 行节点(action node)。其中控制节点定义flow的走向，执行节点定义具体的执行 动作。
Hadoop快速入门
第三十八讲 Oozie简介
Oozie起源
通过Hadoop中的组合任务方式可以将多个MR任务组合在一起来执行，但是随 着job的越来越多，逻辑越来越复杂，使用Hadoop自带的方式就变的不太现实。 所以在2012年的时候，Oozie作为一个孵化项目在Apache中诞生，随着时间的 推移，Oozie在Hadoop生态圈的重要性也就越来越重了。通过Oozie我们可以将 多个MR任务组合到一个逻辑单元中，从而完成更加大型的任务。现在Oozie除 了支持MR任务外，还支持Java、Hive、email、shell等操作。
知从科技有限公司木牛基础软件平台产品手册说明书
知从木牛基础软件OBD产品手册知从®木牛基础软件平台知从木牛基础软件OBD产品手册知从®木牛基础软件平台1功能概述知从木牛基础软件平台（ ZC.MuNiu ）为汽车电子控制器产品开发，提供完整的基础软件平台解决方案。
该产品参考AUTOSAR、OSEK等国际规范。
有基于AUTOSAR ARTOP架构的上位机配置工具，支持上汽、一汽、吉利、广汽、长安、长城等整车厂通讯、诊断、网络管理规范。
知从木牛基础软件平台，主要包括：操作系统、通讯协议栈（CAN\ LIN）、诊断协议栈(UDS\OBD\J1939)、网络管理（OSEK\AUTOSAR）、标定协议栈（XCP\CCP）、存储协议栈、加密模块（CRYPTO）、复杂驱动等模块，配套知从的Bootloader刷新程序和上位机工具，可以根据不同的客户项目要求进行配置和再开发。
知从科技提供基础软件产品的同时，也提供控制器基础软件功能实现的开发服务。
OBD系统（On-Board Diagnostics System）是一种车辆故障检测和诊断系统，用于监测和报告车辆排放控制系统的故障和性能。
它可以通过使用车载电脑监测车辆在实际使用时排放系统的工作状况，并能监测排放系统的故障，通过点亮故障指示器(MIL)通知车辆驾驶员出现故障，同时存储故障代码识别所监测到的故障。
ISO_15031-5_2016和GB18352.6-2016规定了OBD系统在车辆排放控制方面的具体要求和指导。
2应用领域汽车OBD（On-Board Diagnostics）是车辆上的诊断系统，用于监测和报告车辆排放控制系统的故障和性能。
OBD产品广泛应用于以下领域：发动机管理系统（EMS）变速器控制器（TCU）制动控制器（BCU）电机控制器（MCU）电子驻车系统（EPB）电池管理系统控制器（BMS）…3配置环境Hardware (Chip) Aurix TC387Compilers Supported Tasking V6.3r1Evaluation Hardware TC387QPDebugger (SW) TRACE32 PowerView for TriCore V2020.02 Debugger (HW) PowerDebug PRO Ethernet(劳特巴赫) V3.0 Configuration Tools ZCMuNiu4.4_03ENZST01000101Configuration Environment Win7/Win10 64bitTasking编译选项-Ctc38x --lsl-core=vtc -t -I"D:\ENZST01\Bsw04_387\prj" -Wa-H"sfr/regtc38x.def" -Wa-gAHLs --emit-locals=-equs,-symbols -Wa-Ogs -Wa--error-limit=42--iso=99 --language=-gcc,-volatile,+strings,-kanji --fp-model=3 --switch=auto --align=0 --default-near-size=0 --default-a0-size=0 --default-a1-size=0 -O2 --tradeoff=0 --compact-max-size=200 -g --error-limit=42 --sourceTasking链接选项-Ctc38x --lsl-core=vtc -t -I"D:\ENZST01\Bsw04_387\prj" -Wl-o"${PROJ}.hex":IHEX:4 --hex-format=s "..\0_Code\5_lsl\user.lsl" -Wl-OtxycL -Wl--map-file="${PROJ}.mapxml":XML -Wl-mcrfiklSmNOduQ -Wl--error-limit=42 -g --fp-model=3 --c++=034开发背景AUTOSAR组织成立于2003年，主要由欧洲汽车制造商、部件供应商及其他电子、半导体和软件系统公司联合建立。
工作流操作手册
工作流操作手册目录工作流操作手册 ....................................................................................................................................... 1-1 1说明 .................................................................................................................................................................... 1-1 2创建工作流模板 ............................................................................................................................................ 2-12.1打开工作流设计器......................................................................................................................... 2-12.2新建节点模版 .................................................................................................................................. 2-12.3设置流程回退任务......................................................................................................................... 2-32.4设置任务属性 .................................................................................................................................. 2-12.4.1设置提醒.............................................................................................................................. 2-12.4.2设置签发.............................................................................................................................. 2-12.4.3设置发放.............................................................................................................................. 2-22.4.4设置模板可用.................................................................................................................... 2-22.4.5编辑工作流模板............................................................................................................... 2-2 3启动工作流...................................................................................................................................................... 3-13.1新建工作流 ....................................................................................................................................... 3-13.2执行工作流 ....................................................................................................................................... 3-13.2.1查看任务“目标”和“引用”.............................................................................................. 3-13.2.2执行工作任务.................................................................................................................... 3-1 4功能配置参考................................................................................................................................................. 4-14.1添加引用 ............................................................................................................................................ 4-14.2设置外出代理 .................................................................................................................................. 4-14.3设置工作流代理人......................................................................................................................... 4-14.4设置作废 ............................................................................................................................................ 4-24.5设置共享文件夹 ............................................................................................................................. 4-24.6设置文件关联 .................................................................................................................................. 4-44.7查询活动-非活动用户 .................................................................................................................. 4-34.7.1添加新查询......................................................................................................................... 4-34.7.2执行查询.............................................................................................................................. 4-21说明1.工作流是完成目标的一个或几个业务流程的自动化操作，工作流程由用户（不能是dba用户）发起，具体的工作流任务将指派给用户。
简单之美 Oozie Coordinator使用及详解
简单之美Oozie Coordinator使用及详解Oozie所支持工作流，工作流定义通过将多个Hadoop Job的定义按照一定的顺序组织起来，然后作为一个整体按照既定的路径运行。
一个工作流已经定义了，通过启动该工作流Job，就会执行该工作流中包含的多个Hadoop Job，直到完成，这就是工作流Job的生命周期。
那么，现在我们有一个工作流Job，希望每天半夜00:00启动运行，我们能够想到的就是通过写一个定时脚本来调度程序运行。
如果我们有多个工作流Job，使用crontab的方式调用可能需要编写大量的脚本，还要通过脚本来控制好各个工作流Job的执行时序问题，不但脚本不好维护，而且监控也不方便。
基于这样的背景，Oozie提出了Coordinator的概念，他们能够将每个工作流Job作为一个动作（Action）来运行，相当于工作流定义中的一个执行节点（我们可以理解为工作流的工作流），这样就能够将多个工作流Job组织起来，称为Coordinator Job，并指定触发时间和频率，还可以配置数据集、并发数等。
一个Coordinator Job包含了在Job外部设置执行周期和频率的语义，类似于在工作流外部增加了一个协调器来管理这些工作流的工作流Job的运行。
运行Coordinator Job我们先看一下官方发行包自带的一个简单的例子oozie-3.3.2\examples\src\main\apps\cron，它能够实现定时调度一个工作流Job运行，这个例子中给出的一个空的工作流Job，也是为了演示能够使用Coordinator系统给调度起来。
这个例子有3个配置文件，我们不修改workflow.xml 配置内容。
修改后分别如下所示：job.properties配置nameNode=hdfs://m1:9000jobTracker=m1:19830queueName=defaultexamplesRoot=examplesoozie.coord.application.path=${nameNode}/user/${user.na me}/${examplesRoot}/apps/cronstart=2014-03-04T19:00Zend=2014-03-06T01:00ZworkflowAppUri=${nameNode}/user/${}/${exam plesRoot}/apps/cron修改了Hadoop集群的配置，以及调度起止时间范围。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
System Installation Job Design Oozie Overview WorkFlow Design Coordinator Design Reference
Requirements
◦ Cloudera Manager ◦ CDH
Oozie
Job Designer Job Design Example
◦ Fs Action ◦ MapReduce Action
Oozie
WorkFlow
◦ A workflow scheduler system to manage Apache Hadoop jobs
◦ Workflow jobs are Directed Acyclical Graphs (DAGs) of actions ◦ Coordinator jobs are recurrent workflow jobs triggered by time (frequency) and data availabilty. ◦ MR\FS\Email\Shell\Ssh\Hive\Pig\Sqoop\Distcp\Java
Coordinator
Integrated
Scalable Reliable Extensible
Does not support circles Workflow Nodes
◦ Control Flow Nodes ◦ Workflow Action Nodes
WorkFlow Recovery
Oozie
◦ Home page ◦ Documents
Hale Waihona Puke Hue◦ Home page ◦ Tutorials
Expression Language
◦ Tutorials
◦ oozie.wf.rerun.failnodes ◦ oozie.wf.rerun.skip.nodes
Workflow definitions can be parameterized When workflow node is executed by Oozie all the ELs are resolved into concrete values EL expressions can be used in the configuration values of action and decision nodes Workflow Job Properties (or Parameters) Expression Language Functions
Start
Map Reduce1
输出>500行
是
Map Reduce2
End
Coordinator execute workflow jobs：
◦ Recurrent ◦ Interdependent
Coordinator Based：
◦ Time intervals ◦ Data availability ◦ Time intervals and/or data availability
Datetime, Frequency and Time-Period Coordinator Action Parameterization of Coordinator Coordinator Design
定期创建文件夹
◦ ◦ ◦ ◦ 开始时间： 结束时间： 频率：每3分钟一次 文件夹名字为标定时间格式化yyyy-MM-ddTHH-mm
◦ Install ◦ Config
Hue
◦ Install ◦ Config (2 items) ◦ Basic Operation
Action Overview
◦ An execution/computation task (Map-Reduce job, Pig job, a shell command). It can also be referred as task or 'action node'.