MAPREDUCE服务 MRS-Oozie样例程序开发思路:开发流程

时间:2024-06-13 09:38:53

开发流程

  1. 工作流配置文件“workflow.xml”“coordinator.xml”是对工作流进行调度,“bundle.xml”是对一组coordinator进行管理)与“job.properties”
  2. 如果有实现代码,需要开发对应的jar包,例如Java Action;如果是Hive,则需要开发SQL文件。
  3. 上传配置文件与jar包(包括依赖的jar包)到HDFS,上传的路径取决于workflow.xml中的oozie.wf.application.path配置的路径。
  4. 提供三种方式对工作流进行操作,详情请参见Oozie应用开发常见问题
    • Shell命令
    • Java API
    • Hue
  5. Oozie客户端提供了比较完整的examples示例供用户参考,包括各种类型的Action,以及Coordinator以及Bundle的使用。以客户端安装目录为“/opt/client”为例,examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。

如下通过一个Mapreduce工作流的示例演示如何配置文件,并通过Shell命令调用。

support.huaweicloud.com/devg-lts-mrs/mrs_07_370010.html