检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟: 主机内存使用率过高时,可能会导致业务进程运行处理缓慢、业务延迟。 业务失败:主机内存使用率过高时,可能会导致业务进程内存溢出,可能会导致作业运行失败。 可能原因 内存配置无法满足业务需求。内存使用率达到上限。 处理步骤 对系统进行扩容。 打开FusionInsight
通第三方AD服务器。 是,执行7。 否,执行8。 执行以下命令查看是否能连通第三方AD服务。 telnet IP port 其中IP为第三方AD服务器IP地址,port为第三方AD服务器使用端口。 是,执行8。 否,联系运维人员检查网络。 联系第三方AD服务管理人员,检查AD服务是否正常。
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时,分区数越多,单个Task生成的HDFS文件越多,则元数据占用的内存也越多。这就导致程序GC(Gabage Collection)严重,甚至发生OOM(Out of Memory)。 经测试证
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出,日志内容如下。 16/04/19 15:56:22 ERROR
ALM-50206 BE内存使用率超过阈值 告警解释 系统每30秒周期性检测BE内存使用率。当检测到内存使用率连续多次(默认值为3)超出阈值范围时产生该告警。 平滑次数为1,内存使用率小于或等于阈值时,告警恢复;平滑次数大于1,内存使用率小于或等于阈值的85%时,告警恢复。 告警属性
ALM-45277 RangerAdmin堆内存使用率超过阈值 告警解释 系统每60秒周期性检测RangerAdmin服务堆内存使用状态,当连续10次检测到RangerAdmin实例堆内存使用率超出阈值(最大内存的95%)时产生该告警,堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID
ALM-45286 TagSync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测TagSync服务直接内存使用状态,当连续5次检测到TagSync实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当TagSync直接内存使用率小于或等于阈值时,告警恢复。 告警属性
执行Spark任务报内存不足告警如何处理? 问题现象 执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数,限制executor的核数和内存。 例如设置如下: set hive.execution.engine=spark;
ALM-17006 Oozie直接内存使用率超过阈值 告警解释 系统每30秒周期性检测Oozie服务直接内存使用状态,当检测到Oozie实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当Oozie直接内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别
ALM-45290 PolicySync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测PolicySync服务直接内存使用状态,当连续5次检测到PolicySync实例直接内存使用率超出阈值(最大内存的90%)时,产生该告警。当PolicySync直接内存使用率小于或等于阈值时,告警恢复。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive直接内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例直接内存使用量过大,或分配的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务,然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务,将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后,告警消除。 告警属性 告警ID
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时,会出现物理内存超限的情况。调整如下参数,可以防止物理内存超限。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时,会出现物理内存超限的情况。调整如下参数,可以防止物理内存超限。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults
ALM-17004 Oozie堆内存使用率超过阈值 告警解释 系统每60秒周期性检测Oozie服务堆内存使用状态,当检测到Oozie实例堆内存使用率超出阈值(最大内存的95%)时产生该告警。堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17004
ALM-17005 Oozie非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Oozie服务非堆内存使用状态,当检测到Oozie实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警。非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 17005
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
ALM-45279 RangerAdmin非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测RangerAdmin服务非堆内存使用状态,当连续5次检测到RangerAdmin实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID
HA来确保Yarn TimelineServer角色的高可用性。 TimelineServer会将数据保存到内存数据库LevelDB中,占用大量内存,安装TimelineServer的节点内存至少需要预留30GB。 该功能适用于MRS 3.2.0-LTS.1及之后版本。 对系统的影响 转换
RangerAdmin直接内存使用率超过阈值 告警解释 系统每60秒周期性检测RangerAdmin服务直接内存使用状态,当连续5次检测到RangerAdmin实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当RangerAdmin直接内存使用率小于或等于阈值时,告警恢复。