检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的角色名称。 主机名 产生告警的主机名。 任务ID 执行失败的Loader任务的ID。 任务名 执行失败的任务名称。 用户标识 提交Loader任务的用户。 Details 对告警信息补充。 对系统的影响 Loader作业级别告警，执行提交的Loader任务时发生异常导致执行失败，需要用户
根据2中的任务名找到对应的失败作业，单击所在行的“运行异常”或“已失败”链接。 在弹出的界面中查看报错信息进行故障修复，如图1为在Yarn上运行的任务被手动kill导致CDL任务异常，其他任务失败信息还可参考trace部分异常报错信息，如图2所示。 图1 CDL任务异常 图2 trace部分异常报错信息
访问Tez WebUI查看任务执行结果 Tez提供Tez任务执行过程图形化展示功能，使用户可以通过界面的方式查看Tez任务执行细节。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装Yarn服务的TimelineServer实例。 使用介绍 登录Manager系统，具体请参见访问FusionInsight
Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 用户问题 Spark提交作业内存不足或提交作业时未添加Jar包导致任务长时间处于pending状态或者运行中内存溢出。 问题现象 使用Spark提交作业后，长期卡住不动。反复运行作业后报错，内容如下： Exception
Hive不支持对同一张表或分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务失败。 解决办法 修改业务逻辑，单线程插入数据到同一张表或分区。 父主题： 使用Hive
oozieuser 普通模式，执行4。 根据提交任务类型，进入对应样例目录。 表1 样例目录列表 任务类型 样例目录 Mapreduce任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/map-reduce Java任务 客户端安装目录/Oozie/oo
通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 用户问题 利用Hue的Sqoop操作把HBase中的数据导入HDFS时报错： Caused by: java.lang.ClassNotFoundException: org.apache.htrace.Trace
2继续执行。 用户可以在YARN中配置任务的优先级。任务优先级是通过ResourceManager的调度器实现的。 操作步骤 设置参数“mapreduce.job.priority”，使用命令行接口或API接口设置任务优先级。 命令行接口。 提交任务时，添加“-Dmapreduce.job
TezUI无法展示Tez任务执行细节 问题 登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。 回答 Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。
运行Flink任务报错“java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED”如何处理？ 问： Flink任务运行失败，报错如下： Caused by: java.lang.NoSuchFieldError: SECUR
作业管理 MRS作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
MapReduce任务长时间无进展 问题 MapReduce任务长时间无进展。 回答 一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。 为了减少等待时间，您可以适当增加堆内存空间。 任务的配置可根据mapper的数量和各mapper的数据大小来进行优
MapReduce任务长时间无进展 问题 MapReduce任务长时间无进展。 回答 一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。 为了减少等待时间，您可以适当增加堆内存空间。 任务的配置可根据mapper的数量和各mapper的数据大小来进行优
使用Oozie客户端提交Hive任务 操作场景 该任务指导用户在使用Oozie客户端提交Hive任务 Hive任务有如下类型： Hive作业 使用JDBC方式连接的Hive作业。 Hive2作业 使用Beeline方式连接的Hive作业。 本文以使用Oozie客户端提交Hive作业为例介绍。
使用Oozie客户端提交Hive任务 操作场景 该任务指导用户在使用Oozie客户端提交Hive任务 Hive任务有如下类型： Hive作业 使用JDBC方式连接的Hive作业。 Hive2作业 使用Beeline方式连接的Hive作业。 本文以使用Oozie客户端提交Hive作业为例介绍。
oozieuser 普通模式，执行4。 根据提交任务类型，进入对应样例目录。 表1 样例目录列表 任务类型 样例目录 Mapreduce任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/map-reduce Java任务 客户端安装目录/Oozie/oo
使用JDBC提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：
Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：某集群可启
Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：某集群可启
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
