华为云首页用户手册

MAPREDUCE服务 MRS-提交其它任务:操作步骤

MAPREDUCE服务 MRS-提交其它任务:操作步骤

时间：2023-12-14 16:35:21

MAPREDUCE服务 MRS

操作步骤

以客户端安装用户，登录安装Oozie客户端的节点。
执行以下命令，获取安装环境信息。其中“/opt/client”为客户端安装路径，该操作的客户端目录只是举例，请根据实际安装目录修改。
source /opt/client/bigdata_env
判断集群认证模式。
- 安全模式，执行kinit命令进行用户认证。
  例如，使用oozieuser用户进行认证。
  
  kinit oozieuser
- 普通模式，执行4。

根据提交任务类型，进入对应样例目录。

表1 样例目录列表
任务类型	样例目录
Mapreduce任务	客户端安装目录/Oozie/oozie-client-*/examples/apps/map-reduce
Java任务	客户端安装目录/Oozie/oozie-client-*/examples/apps/java-main
Shell任务	客户端安装目录/Oozie/oozie-client-*/examples/apps/shell
Streaming任务	客户端安装目录/Oozie/oozie-client-*/examples/apps/streaming
SubWorkflow任务	客户端安装目录/Oozie/oozie-client-*/examples/apps/subwf
SSH任务	客户端安装目录/Oozie/oozie-client-*/examples/apps/ssh
定时任务	客户端安装目录/Oozie/oozie-client-*/examples/apps/cron

其他任务样例中已包含HDFS任务样例。

样例目录下需关注文件如表2所示。

表2 文件说明
文件名称	描述
job.properties	工作流的参数变量定义文件。
workflow.xml	工作流的规则定制文件。
lib	工作流运行依赖的jar包目录。
coordinator.xml	“cron”目录下存在，定时任务配置文件，用于设置定时策略。
oozie_shell.sh	“shell”目录下存在，提交Shell任务需要的Shell脚本文件。

执行以下命令，编辑“job.properties”文件。
vi job.properties

修改如下内容：

更改“userName”的参数值为提交任务的人机用户名，例如“userName=oozieuser”。
执行oozie job命令，运行工作流文件。
oozie job -oozie https://oozie角色的主机名:21003/oozie -config job.properties文件所在路径 -run

例如：

oozie job -oozie https://10-1-130-10:21003/oozie -config

/opt/client/Oozie/oozie-client-*/examples/apps/map-reduce/job.properties -run
- 命令参数解释如下：
  -oozie：实际执行任务的Oozie服务器URL。
  
  -config：工作流属性文件。
  
  -run：运行工作流。
- 执行完工作流文件，显示job id表示提交成功，例如：job: 0000021-140222101051722-oozie-omm-W。登录Oozie管理页面，查看运行情况。
  使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。
  
  Oozie的WebUI界面中，可在页面表格根据jobid查看已提交的工作流信息。

上一篇：MAPREDUCE服务 MRS-提交其它任务:前提条件

下一篇：MAPREDUCE服务 MRS-提交其它任务:前提条件

MAPREDUCE服务 MRS-提交其它任务:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题