检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Yarn客户端提交任务 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下
DBService备份任务执行失败 问题背景与现象 查看备份文件路径中没有DBService的备份文件。 ls /srv/BigData/LocalBackup/default_20190720222358/ -rlth 图1 查看备份文件 原因分析 查看DBService的备份
提交Flink任务时launcher-job被Yarn终止如何处理？ 问题现象 管控面提交Flink任务时launcher-job因heap size不足被Yarn终止如何处理？ 解决方法 调大launcher-job的heap size值。 使用omm用户登录主OMS节点。 修
MRS集群中Spark任务支持哪些Python版本？ 问： MRS 3.1.0版本的集群，Spark任务支持哪些python版本？ 答： MRS 3.1.0版本的集群，Spark任务建议使用python2.7或3.x版本。 父主题： 组件配置类
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的
Hive任务运行过程中失败，重试成功 问题现象 当Hive任务在正常运行时失败，在客户端报出错误，类似的错误打印： Error:Invalid OperationHandler:OperationHander [opType=EXECUTE_STATEMENT,getHandle
元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务，然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务，将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后，告警消除。 告警属性 告警ID 告警级别
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的
使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffl
使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffl
引入jar包不正确导致Spark任务无法运行 问题现象 执行Spark任务，任务无法运行。 原因分析 执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/F
执行SQL提交任务到指定队列时报错 问题现象 执行SQL提交任务到Yarn报如下错误： Failed to submit application_1475400939788_0033 to YARN : org.apache.hadoop.security.AccessControlException:
this cluster! Spark任务提交至Yarn上面，运行task的executor使用的资源受yarn的管理。从报错信息可看出，用户申请启动executor时，指定10G的内存，超出了Yarn设置的每个container的最大内存的限制，导致任务无法启动。 解决办法 修改Yar
根据2中的任务名找到对应的失败作业，单击所在行的“运行异常”或“已失败”链接。 在弹出的界面中查看报错信息进行故障修复，如图1为在Yarn上运行的任务被手动kill导致CDL任务异常，其他任务失败信息还可参考trace部分异常报错信息，如图2所示。 图1 CDL任务异常 图2 trace部分异常报错信息
配置Hive任务的最大map数 “hive.mapreduce.per.task.max.splits”参数可用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 登录FusionInsight Manager页面，选择“集群 >
配置DBService备份任务超时时间 操作场景 针对DBService备份任务执行的默认超时时间为2小时，在DBService中数据量过大时，任务执行时间会超过2小时导致备份任务执行失败。 该操作指导用户调整DBService备份任务的超时时间。 前提条件 DBService服务运行正常。
exec.mr.MapRedTask (state=08S01,code=1) 原因分析 MapReduce任务提交前对输入文件数的检查策略：在提交的MapReduce任务中，允许的最大输入文件数和HiveServer最大堆内存的比值，例如500000/4（默认值），表示每4GB
查看业务是否存在大SQL任务 在“计算实例”页签，展开对应租户下的实例，单击计算实例“WebUI”列的“LINK”，查看所有任务的运行情况。 在“Sort”列选择“Execution Time”对运行的任务进行排序，查看是否存在运行时间过长的任务（小时级的任务）。 是，执行10。 否，执行12。
操作场景 用户需要使用图形化界面在集群中管理Hive的元数据，可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。 管理Hive表的元数据
MRS集群租户资源最小值为0时只能同时运行一个任务吗？ 问： MRS集群的租户资源最小值设置为0后，只能同时运行一个Spark任务吗？ 答： 租户资源最小值改为0后，只能同时运行一个Spark任务。 父主题： 作业管理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
