检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时,分区数越多,单个Task生成的HDFS文件越多,则元数据占用的内存也越多。这就导致程序GC(Gabage Collection)严重,甚至发生OOM(Out of Memory)。 经测试证明:102
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用,Container会占用内存直到内存溢出;若检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用,Container会占用内存直到内存溢出;如果检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。
对系统的影响 NodeManager堆内存使用率过高,会影响Yarn任务提交和运行的性能,甚至可能会造成内存溢出导致Yarn服务崩溃。 可能原因 该节点NodeManager实例堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率。 在FusionInsight
在ClickHouse中创建MySQL引擎的数据库,创建成功后自动与MySQL服务器交换数据。 CREATE DATABASE mysql_db ENGINE = MySQL('RDS服务MySQL数据库实例IP地址:MySQL数据库实例端口', 'MySQL数据库名', 'MySQL数据库用户名'
“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计” ,单击“确定”,查看HBase服务进程使用的直接内存是否已达到HBase服务进程设定的最大直接内存的90%。 是,执行4。 否,执行8。 图1 HMaster堆内存使用率与直接内存使用率统计 在FusionInsight
ALM-45291 PolicySync非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测PolicySync服务非堆内存使用状态,当连续5次检测到PolicySync实例非堆内存使用率超出阈值(最大内存的90%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID
ALM-45287 TagSync非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测TagSync服务非堆内存使用状态,当连续5次检测到TagSync实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别
ALM-45285 TagSync堆内存使用率超过阈值 告警解释 系统每60秒周期性检测TagSync服务堆内存使用状态,当连续10次检测到TagSync实例堆内存使用率超出阈值(最大内存的95%)时产生该告警,堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
ALM-45289 PolicySync堆内存使用率超过阈值 告警解释 系统每60秒周期性检测PolicySync服务堆内存使用状态,当连续10次检测到PolicySync实例堆内存使用率超出阈值(最大内存的95%)时产生该告警,堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID
ALM-45282 UserSync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测UserSync服务直接内存使用状态,当连续5次检测到UserSync实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当UserSync直接内存使用率小于或等于阈值时,告警恢复。 告警属性
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用内存不足,可能会造成内存溢出导致服务崩溃。 可能原因 该节点ZooKeeper实例内存使用量过大,或分配的内存不合理,导致使用量超过阈值。 处理步骤 检查内存使用量。 在MRS集群详情页面,单击“告警管理 > 13002连接数不足
ALM-24007 Flume Server直接内存使用率超过阈值 告警解释 系统每60秒周期性检测Flume服务直接内存使用状态,当连续5次检测到Flume实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当Flume直接内存使用率小于或等于阈值时,告警恢复。 告警属性
择“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计”,单击“确定”,查看HBase服务进程使用的堆内存是否已达到HBase服务进程设定的最大堆内存的90%。 是,执行4。 否,执行6。 图1 HMaster堆内存使用率与直接内存使用率统计 在FusionInsight
对系统的影响 Storm Nimbus堆内存使用率过高时可能造成频繁GC,甚至造成内存溢出,进而影响Storm任务提交。 可能原因 该节点Storm Nimbus实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。 处理步骤 检查堆内存使用量。 在FusionInsight
ALM-23005 Loader非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Loader服务非堆内存使用状态,当连续5次检测到Loader实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警。非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
Kafka可用内存不足,可能会造成内存溢出导致服务崩溃。 可能原因 该节点Kafka实例堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 单击“ALM-38002 Kafka堆内存使用率超过阈值
参见配置关系数据库连接。此处保持默认,必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306
ALM-45283 UserSync非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测UserSync服务非堆内存使用状态,当连续5次检测到UserSync实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别
ALM-24006 Flume Server堆内存使用率超过阈值 告警解释 系统每60秒周期性检测Flume服务堆内存使用状态,当连续10次检测到Flume实例堆内存使用率超出阈值(最大内存的95%)时产生该告警,堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除