简介
（翻译自官网）
Oozie是一个用于管理Apache Hadoop作业的工作流调度程序系统。
Oozie Workflow job是由多个Action组成的有向无环图（DAG）。
Oozie Coordinator job是根据时间（频率）和数据可用性触发的可重复执行的Oozie Workflow job（简单讲就是根据时间或数据条件，规划workflow的执行）。
Oozie与Hadoop技术栈的项目集成，支持多种类型的Hadoop作业（例如Java map-reduce，Streaming map-reduce，Pig，Hive，Sqoop和Distcp，Spark）以及系统特定的工作（例如Java程序和shell脚本）。
Oozie是一个可水平扩展，可靠和可使用扩展插件（scalable, reliable and extensible）的系统。
使用oozie命令行执行shell workflow
这里使用cdh虚拟机自带的oozie examples中的例子，执行hdfs dfs -put examples examples，将examples上传到hdfs。
打开apps/shell/ 可以看到job.properties和workflow.xml两个文件，在workflow.xml中定义action和workflow，在job.properties中定义各种变量。示例如下：
job.properties
nameNode=hdfs://quickstart.cloudera:8020 #指定hadoop的nameNode
jobTracker=quickstart.cloudera:8032 #指定jobTracker，如果使用yarn则指定为resource manager的applications manager端口
queueName=default
examplesRoot=examples
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/shell #指定workflow.xml的位置
workflow.xml
<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
<shell xmlns="uri:oozie:shell-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<exec>echo</exec>
<argument>my_output=Hello Oozie</argument>
<capture-output/>
</shell>
<ok to="check-output"/>
<error to="fail"/>
</action>
<decision name="check-output">
<switch>
<case to="end">
${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
</case>
<default to="fail-output"/>
</switch>
</decision>
<kill name="fail">
<message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<kill name="fail-output">
<message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
</kill>
<end name="end"/>
</workflow-app>
可以看到这里定义了一个shell workflow，它的DAG如下：
首先是start,end,kill三个控制节点，分别指定了workflow开始时，结束时，kill时的行为。
start指向了一个名为shell-node的action，该action执行了ehco命令，并使用capture-output获取标准输出。如果执行成功，则进入decision node check-output如果输出结果正确则顺利结束，否则输出错误信息。
然后使用以下命令测试（这里的config是使用的是本地文件）
oozie job -oozie http://quickstart.cloudera:11000/oozie -config ~/oozie-examples/examples/apps/shell/job.properties -dryrun
如果成功，会显示OK
然后使用一下命令执行该workflow
oozie job -oozie http://quickstart.cloudera:11000/oozie -config ~/oozie-examples/examples/apps/shell/job.properties -run
最后，使用oozie job -oozie http://quickstart.cloudera:11000/oozie -info workflowID查看任务运行状态
也可以在hue中或者oozie web控制台中查看任务运行状态。
配置hive任务
数据准备：使用了权力与荣耀2017 ios的addcash的数据，test.hql(插入一条数据)
首先需要上传hive-site.xml到hdfs，Oozie需要通过该文件找到Hive Metastore，另外上传写好的hql文件到hdfs。然后向workflow中加入hive script action。并按图中的配置设置好hive脚本和hive-site.xml。保存即可。
写workflow.xml和使用hue配置action，两者是等价的。
最后使用coordinator设定每小时执行一次。也可以设置输入，当指定位置有数据时才开始执行；设置输出，将数据输出到指定位置。
如果coordinator设定的开始时间比当前时间早的话，会先将开始时间和当前时间之间应该执行的workflow全部执行一遍。
评论