检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传输服务从"spark.yarn.executor.memoryOverhead"中拿掉部分堆内存[~ 384 MB or 0.1 x 执行器内存]。 详细信息请参考常见配置Spark Executor堆内存参数。 父主题: CarbonData常见问题
ALM-45277 RangerAdmin堆内存使用率超过阈值 告警解释 系统每60秒周期性检测RangerAdmin服务堆内存使用状态,当连续10次检测到RangerAdmin实例堆内存使用率超出阈值(最大内存的95%)时产生该告警,堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID
ALM-45286 TagSync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测TagSync服务直接内存使用状态,当连续5次检测到TagSync实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当TagSync直接内存使用率小于或等于阈值时,告警恢复。 告警属性
对系统的影响 内存使用过高,部分查询任务可能因为内存不足而失败。 可能原因 Impalad进程正在执行较大量查询任务。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 阈值设置 > Impala > CPU和内存 > Impalad进程的内存占用率(Impalad)”,检查阈值大小。
NodeManager非堆内存使用率过高,会影响Yarn任务提交和运行的性能,甚至造成内存溢出导致Yarn服务不可用。 可能原因 该节点Yarn NodeManager实例非堆内存使用量过大,或分配的非堆内存不合理,导致使用量超过阈值。 处理步骤 检查非堆内存使用量。 在FusionInsight
作业名称,只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 hadoop_job 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 常用运行程序参数如表2。 - 执行程序参数 可选参数,程序执行的关键参数,该参
ALM-17005 Oozie非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Oozie服务非堆内存使用状态,当检测到Oozie实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警。非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17005
JobHistoryServer直接内存使用率超过阈值 告警解释 系统每30秒周期性检测MapReduce服务直接内存使用状态,当检测到JobHistoryServer实例直接内存使用率超出阈值(最大内存的90%,默认阈值)时,产生该告警。 直接内存使用率小于阈值时,告警恢复。 告警属性
ResourceManager非堆内存使用率过高,会影响Yarn任务提交和运行的性能,甚至造成内存溢出导致Yarn服务不可用。 可能原因 该节点Yarn ResourceManager实例非堆内存使用量过大,或分配的非堆内存不合理,导致使用量超过阈值。 处理步骤 检查非堆内存使用量。 在FusionInsight
个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
对系统的影响 Storm Nimbus堆内存使用率过高时可能造成频繁GC,甚至造成内存溢出,进而影响Storm任务提交。 可能原因 该节点Storm Nimbus实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。 处理步骤 检查堆内存使用量。 在FusionInsight
“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计” ,单击“确定”,查看HBase服务进程使用的直接内存是否已达到HBase服务进程设定的最大直接内存的90%。 是,执行4。 否,执行8。 图1 HMaster堆内存使用率与直接内存使用率统计 在FusionInsight
ResourceManager堆内存使用率过高,会影响Yarn任务提交和运行的性能,甚至造成内存溢出导致Yarn服务不可用。 可能原因 该节点Yarn ResourceManager实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。 处理步骤 检查堆内存使用量。 在FusionInsight
IndexServer2x进程堆内存使用率过高,会影响IndexServer2x进程运行的性能,甚至造成内存溢出导致IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。
IndexServer2x进程直接内存使用率过高,会影响IndexServer2x进程运行的性能,甚至造成内存溢出导致IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。
ALM-45279 RangerAdmin非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测RangerAdmin服务非堆内存使用状态,当连续5次检测到RangerAdmin实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID
择“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计”,单击“确定”,查看HBase服务进程使用的堆内存是否已达到HBase服务进程设定的最大堆内存的90%。 是,执行4。 否,执行6。 图1 HMaster堆内存使用率与直接内存使用率统计 在FusionInsight
ALM-45589 ConfigNode堆内存使用率超过阈值 告警解释 系统每60秒周期性检测ConfigNode进程堆内存使用状态,当检测到ConfigNode进程堆内存使用率超出阈值(最大内存的90%)时产生该告警。当ConfigNode进程堆内存使用率小于阈值时,告警清除。 告警属性
ResourceManager直接内存使用率超过阈值 告警解释 系统每30秒周期性检测ResourceManager服务直接内存使用状态,当检测到ResourceManager实例直接内存使用率超出阈值(最大内存的90%)时,产生该告警。 直接内存使用率小于阈值时,告警恢复。 告警属性
运行MapReduce作业 用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据,是一种分布式数据处理模式。 用户可以在MRS管理控制台