华为云首页用户手册

MAPREDUCE服务 MRS-使用Hue提交Oozie Spark2x作业:操作步骤

MAPREDUCE服务 MRS-使用Hue提交Oozie Spark2x作业:操作步骤

时间：2024-06-29 16:25:03

MAPREDUCE服务 MRS

操作步骤

创建工作流，请参考使用Hue创建工作流。
在工作流编辑页面，选择“Spark 程序”按钮，将其拖到操作区中。
在弹出的“Spark”窗口配置“Files”，例如“hdfs://hacluster/user/admin/examples/apps/spark2x/lib/oozie-examples.jar”。配置“jar/py name”，例如“oozie-examples.jar” ，配置完成后单击“添加”。
配置“Main class”的值。例如“org.apache.oozie.example.SparkFileCopy”。
单击“参数+”，添加输入输出相关参数。
例如添加：
- “hdfs://hacluster/user/admin/examples/input-data/text/data.txt”
- “hdfs://hacluster/user/admin/examples/output-data/spark_workflow”
在“Options list”文本框指定spark参数 , 例如“--conf spark.yarn.archive=hdfs://hacluster/user/spark2x/jars/8.1.0.1/spark-archive-2x.zip --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://hacluster/spark2xJobHistory2x”。

此处版本号“8.1.0.1”为示例，可登录 FusionInsight Manager界面，单击右上角的，在下拉框中单击“关于”，在弹框中查看Manager版本号。
单击右上角的配置按钮。配置“Spark Master”的值，例如“yarn-cluster”。配置“Mode”的值，例如“cluster”。
在打开的配置界面中，单击“删除+”，添加删除目录，例如“hdfs://hacluster/user/admin/examples/output-data/spark_workflow”。
单击“属性+”，添加oozie使用的sharelib，左边文本框填写属性名称“oozie.action.sharelib.for.spark”，右边文本框填写属性值“spark2x”。
单击Oozie编辑器右上角的。
保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Spark-Workflow”。
保存完成后，单击，提交该作业。
作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

上一篇：MAPREDUCE服务 MRS-配置对接Kafka可靠性:配置场景

下一篇：MAPREDUCE服务 MRS-创建大量ZNode后ZooKeeper Server启动失败:回答

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-使用Hue提交Oozie Spark2x作业:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题