华为云首页用户手册

MAPREDUCE服务 MRS-使用Hue提交Oozie Distcp作业:操作步骤

MAPREDUCE服务 MRS-使用Hue提交Oozie Distcp作业:操作步骤

时间：2024-06-29 16:25:04

MAPREDUCE服务 MRS

操作步骤

创建工作流，请参考使用Hue创建工作流。
在工作流编辑页面，选择“DistCp”按钮，将其拖到操作区中。
当前DistCp操作是否是跨集群操作。
- 是，执行4。
- 否，执行7。
对两个集群进行跨Manager集群互信。
在弹出的“Distcp”窗口中配置“源”的值，例如“hdfs://hacluster/user/admin/examples/input-data/text/data.txt”。配置“目标”的值，例如“hdfs://target_ip:target_port/user/admin/examples/output-data/distcp-workflow/data.txt”。然后单击“添加”。
单击右上角的配置按钮，在打开的“属性”页签配置界面中，单击“属性+”，在左边文本框中填写属性名称“oozie.launcher.mapreduce.job.hdfs-servers”，在右边文本框中填写属性值“hdfs://source_ip:source_port,hdfs://target_ip:target_port”，执行8。

source_ip：源集群的HDFS的NameNode的业务地址。

source_port：源集群的HDFS的NameNode的端口号。

target_ip：目标集群的HDFS的NameNode的业务地址。

target_port：目标集群的HDFS的NameNode的端口号。
在弹出的“Distcp”窗口中配置“源”的值，例如“/user/admin/examples/input-data/text/data.txt”。配置“目标”的值，例如“/user/admin/examples/output-data/distcp-workflow/data.txt”。然后单击“添加”。
单击右上角的配置按钮，在打开的配置界面中，单击“删除+”，添加删除目录，例如“/user/admin/examples/output-data/distcp-workflow”。
单击Oozie编辑器右上角的。
保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Distcp-Workflow”。
保存完成后，单击，提交该作业。
作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

上一篇：MAPREDUCE服务 MRS-Impala常见配置参数:参数说明

下一篇：MAPREDUCE服务 MRS-Hive支持ZSTD压缩格式

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-使用Hue提交Oozie Distcp作业:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题