检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
企业项目管理 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式，企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。
Spark任务提交失败 问题现象 Spark提交任务直接提示无法提交任务。 Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1： 最常见的无法提交任务原因是认证失败， 还有可能是参数设置不正确。 问题2： 集群默认会把分析节点的hadoop
初始状态下，任务1发送给队列A，此任务需要75%的集群资源。之后任务2发送到了队列B，此任务需要50%的集群资源。 任务1将会使用队列A提供的25%的集群资源，并从队列B获取的50%的集群资源。队列B保留25%的集群资源。 启用抢占任务特性，则任务1使用的资源将会被抢占。队列B会从
操作步骤 配置JobManager内存。 JobManager负责任务的调度，以及TaskManager、RM之间的消息通信。当任务数变多，任务平行度增大时，JobManager内存都需要相应增大。 您可以根据实际任务数量的多少，为JobManager设置一个合适的内存。 在使用y
Spark Streaming任务提交问题 问题现象 连接Kafka报类找不到。 连接带Kerberos的Kafka，报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1：Spark提交任务默认不会加载kafka的相关包，所以需
析以后用于查看作业执行的详细信息。 任务日志记录了每个运行在Container中的任务输出的日志信息。默认情况下，任务日志只会存放在各NodeManager的本地磁盘上。打开日志聚合功能后，NodeManager会在作业运行完成后将本地的任务日志进行合并，写入到HDFS中。 由于
查看Spark任务日志失败 问题现象 任务运行中查看日志失败。 任务运行完成，但是查看不到日志。 原因分析 问题1：可能原因是MapReduce服务异常。 问题2：可能原因如下： Spark的JobHistory服务异常。 日志太大，NodeManager在做日志汇聚的时候出现超时。
并发提交大量oozie任务时，任务一直没有运行 问题现象 并发提交大量oozie任务的时候，任务一直没有运行。 原因分析 Oozie提交任务会先启动一个oozie-launcher，然后由oozie-launcher提交真正的作业运行。默认情况下launcher和真实作业会在同一个队列中。
创建Hue操作任务 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用SparkSql编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 在Hue WebUI使用HBase 父主题： 使用Hue（MRS
创建Hue操作任务 通过Hue执行HiveQL 通过Hue执行SparkSQL 通过Hue查看Hive元数据 通过Hue管理HDFS文件 通过Hue管理Oozie作业 通过Hue管理HBase表 通过Hue执行HetuEngine SQL 父主题： 使用Hue
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级？ 回答 当您在客户端提交MapReduce任务时，可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下： yarn
Flink任务开发规则 对有更新操作的数据流进行聚合计算时要注意数据准确性问题 在针对更新数据进行聚合需要选择合适的解决方案，否则聚合结果会是错误的。 例如： Create table t1( id int, partid int, value int );
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级？ 回答 当您在客户端提交MapReduce任务时，可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下： yarn
可以在Job的Overview选项卡后面查看BackPressure，如下图表示采样进行中，默认情况下，大约需要5秒完成采样。 图1 采样进行中 如下图显示“OK”表示没有反压，“HIGH”表示对应SubTask被反压。 图2 无反压状态 图3 反压状态 使用Hive SQL时如果Flink语法不兼容则可切换Hive方言
产生告警的主机名。 任务名 任务名称。 对系统的影响 周期备份任务失败，会导致在备份失败的时间段内没有可用的备份包。在系统出现异常需要使用备份包恢复数据时，没有失败时间段的备份包，导致失败时间段数据无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况，直接获取日志和任务详情来处理该告警。
ALM-18010 Yarn任务挂起数超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检查YARN服务处于挂起状态（Pending）的任务数量，并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置
的个数，导致部分Receiver启动以后，系统已经没有资源去运行计算任务，导致第一个任务一直在等待，后续任务一直在排队。从现象上看，就是如问题中的图1中所示，会有两个任务一直在等待。 因此，当Web出现两个任务一直在等待的情况，首先检查Spark的核数是否大于Receiver的个数。
Hive任务执行中报栈内存溢出导致任务执行失败 问题背景与现象 Hive执行查询操作时报错Error running child : java.lang.StackOverflowError，具体报错信息如下： FATAL [main] org.apache.hadoop.mapred
执行Spark任务报内存不足告警如何处理？ 问题现象 执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark;
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table denza_hudi_sink ( $H
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
