检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用代理用户提交Spark作业 本章节仅适用MRS 3.3.0及之后版本。 场景说明 提交Spark任务时，用户可以使用当前实际运行用户提交任务，也可以使用代理用户提交任务。本章节介绍如何开启代理用户提交任务。 前提条件 创建用户，登录Manager页面，选择“系统 > 权限 >
root.QueueA 原因分析 当前登录的用户无YARN队列提交权限。 解决方案 用户无YARN队列提交权限，需要赋予YARN相应队列的提交权限。在Manager页面的“系统 >权限 > 用户”中给用户绑定队列提交权限的角色。 父主题： 使用Hive
提交Spark任务到新增Task节点 应用场景 MRS集群可以通过增加Task节点，提升计算能力，集群Task节点主要用于处理数据，不存放持久数据。 本章节指导用户通过租户资源绑定新增的Task节点，并提交Spark任务到新增的Task节点。 方案架构 租户是MRS大数据平台的核
提交Spark任务时连接ResourceManager异常 问题背景与现象 连接ResourceManager异常，导致Spark任务提交失败。 原因分析 在Driver端打印异常如下，打印连接两个ResourceManager主备节点的26004端口均被拒绝： 15/08/19
通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题： 开发Oozie应用
文件上传进度可在“文件操作记录”中查看，系统将数据导入操作生成一个Distcp作业处理，也可在“作业管理”中查看作业执行状态。 父主题： 提交MRS作业
在MRS集群“文件管理”页面进行文件的导入导出操作后，您可以在“作业管理”页面查看Distcp类型的作业详情。 状态 显示作业的状态。 已提交：作业已提交。 已接受：作业提交成功后的初始状态。 运行中：作业执行过程中。 已完成：作业执行完成，并且执行成功。 已终止：作业执行过程中，停止执行。 异
加载客户端环境变量且对应用户登录成功后，该用户可以在任意storm客户端下执行storm命令来提交拓扑任务，但提交拓扑命令执行完成后，提交成功的拓扑仍然在用户所对应的Storm集群中，不会出现在其他Storm集群中。 如果修改了集群域名，需要在提交拓扑前重新设置域名信息，进入cql语句执行命令，例如：set "kerberos
MRS管理控制台上提交作业异常处理 用户问题 MRS控制台作业管理提交作业“状态”为“已接受”，“执行结果”为“未定”，作业未成功提交到Yarn上，如下图所示： 原因分析 由于管理控制台的作业管理功能是由集群管理模块Executor来负责调度执行，因此作业未提交到Yarn上，根因
可能原因 提交拓扑中没有包含用户的keytab文件。 提交拓扑中包含的keytab和提交用户不一致。 客户端/tmp目录下已存在user.keytab，且宿主非运行用户。 原因分析 查看日志发现异常信息Can not found user.keytab in storm.jar。具体信息如下：
通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题： 开发Oozie应用
通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题： 开发Oozie应用
通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题： 开发Oozie应用
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题： 使用Oozie
使用Python提交Flink SQL作业 获取样例工程“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包，获取“venv
使用Python提交Flink SQL作业 获取样例工程“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包，获取“venv
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
使用Yarn客户端提交任务 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下
用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
