华为云首页用户手册

MAPREDUCE服务 MRS-使用Oozie客户端提交Loader任务:操作步骤

MAPREDUCE服务 MRS-使用Oozie客户端提交Loader任务:操作步骤

时间：2024-06-29 16:25:11

MAPREDUCE服务 MRS 使用Oozie客户端提交作业

操作步骤

以客户端安装用户，登录安装Oozie客户端的节点。
执行以下命令，获取安装环境信息。其中“/opt/client”为客户端安装路径，该操作的客户端目录只是举例，请根据实际安装目录修改。
source /opt/client/bigdata_env
判断集群认证模式。
- 安全模式，执行kinit命令进行用户认证。
  例如，使用oozieuser用户进行认证。
  
  kinit oozieuser
- 普通模式，执行4。

执行以下命令，进入样例目录。

cd /opt/client/Oozie/oozie-client-*/examples/apps/sqoop/

该目录下需关注文件如表1所示。

表1 文件说明
文件名称	描述
job.properties	工作流的参数变量定义文件。
workflow.xml	工作流的规则定制文件。

执行以下命令，编辑“job.properties”文件。
vi job.properties

修改如下内容：

更改“userName”的参数值为提交任务的人机用户名，例如“userName=oozieuser”。
执行以下命令，编辑“workflow.xml”文件。
vi workflow.xml

修改如下内容：

“command”的值修改为需要调度的已有Loader作业ID，例如1。

将“workflow.xml”文件上传至 "job.properties" 文件中的HDFS路径。

hdfs dfs -put -f workflow.xml /user/userName/examples/apps/sqoop
执行oozie job命令，运行工作流文件。
oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run
- 命令参数解释如下：
  -oozie：实际执行任务的Oozie服务器URL。
  
  -config：工作流属性文件。
  
  -run：运行工作流。
- 执行完工作流文件，显示job id表示提交成功，例如：job: 0000021-140222101051722-oozie-omm-W。登录Oozie管理页面，查看运行情况。
  使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。
  
  Oozie的WebUI界面中，可在页面表格根据jobid查看已提交的工作流信息。

上一篇：MAPREDUCE服务 MRS-使用Oozie客户端提交Loader任务:前提条件

下一篇：MAPREDUCE服务 MRS-使用Oozie客户端提交Loader任务:前提条件

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-使用Oozie客户端提交Loader任务:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题