检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
打开Manager页面，查看NameNode的GC_OPTS参数配置如下： 图1 查看NameNode的GC_OPTS参数配置 NameNode内存配置和数据量对应关系参考表1。 表1 NameNode内存配置和数据量对应关系 文件对象数量 参考值 10,000,000 “-Xms6G -Xmx6G -XX:NewSize=512M
DataNode堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS DataNode堆内存使用率，并把实际的HDFS DataNode堆内存使用率和阈值相比较。HDFS DataNode堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode堆内存使用率超出阈值范围时，产生该告警。
优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用，Container会占用内存直到内存溢出；如果检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用，Container会占用内存直到内存溢出；若检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。
ALM-18024 Yarn任务挂起内存量超阈值 告警解释 告警模块按60秒周期检测Yarn当前挂起的内存量大小，当Yarn上面挂起的内存量大小超过阈值时，触发该告警。挂起的内存量表示当前所有提交的Yarn应用还没有满足的内存量总和。 告警属性 告警ID 告警级别 是否自动清除 18024
map.java.opts（调整map的栈内存）和mapreduce.reduce.java.opts（调整reduce的栈内存），调整方法如下（以mapreduce.map.java.opts参数为例）。 临时增加map内存（只针对此次beeline生效）： 在beeline中执行如下命令set
在出现告警时间点发现虚拟机发生了重启，告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存，系统发生内存溢出触发了oom-killer，当进程处于被调用的状态会使进程处于disk sleep状态，最终导致虚拟机发生重启。 查看占用的内存进程，发现占用内存都是正常的业务进程。
Impalad的xmx内存小于catalog的xmx内存，Impalad节点持续报Full GC，SQL一直处于created状态 问题 Impalad的xmx内存小于Catalog的xmx内存，catalog长期运行，内存已经超过了impalad的xmx 内存，Impalad节点持续报Full
任务增量步进，与memoryStep共同决定内存调整量。 不能为空且大于零。 memoryStep 内存增量步进，在“yarn.app.mapreduce.am.resource.mb”配置的基础上对内存向上调整。 不能为空且大于零，单位：MB。 minMemory 内存自动调整下限，若调整后的内存不大于该值，仍保持“yarn
Hive服务进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测Hive直接内存使用率，并把实际的Hive直接内存使用率和阈值相比较。当Hive直接内存使用率超出阈值（默认为最大直接内存的95%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称
/opt/knox/bin/gateway.sh start 在其他Master节点上重复执行如上步骤。 执行ps -ef |grep knox命令可查看已设置的内存信息。 图1 knox内存 父主题： 性能优化类
在执行SQL语句前，执行如下命令。注意执行前保证集群有足够内存可以设置。 SET max_memory_usage = 128000000000; #128G 如果没有上述大小内存可用，ClickHouse可以通过如下设置将“溢出”数据到磁盘。建议将max_memory_usage设置为max_bytes_be
Hive服务进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive非堆内存使用率，并把实际的Hive非堆内存使用率和阈值相比较。当Hive非堆内存使用率超出阈值（默认为最大非堆内存的95%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 DataNode可用直接内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点DataNode实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Storm Nimbus堆内存使用率过高时可能造成频繁GC，甚至造成内存溢出，进而影响Storm任务提交。 可能原因 该节点Storm Nimbus实例堆内存使用量过大，或分配的堆内存不合理，导致使用量超过阈值。 处理步骤 检查堆内存使用量。 在FusionInsight
ConfigNode直接内存使用率超过阈值 告警解释 系统每60秒周期性检测ConfigNode进程直接内存使用状态，当连续5次检测到ConfigNode实例直接内存使用率超出阈值时，产生该告警，即当前ConfigNode设置的直接内存无法满足当前ConfigNode进程所需的直接内存。当Con
NameNode堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS NameNode堆内存使用率，并把实际的HDFS NameNode堆内存使用率和阈值相比较。HDFS NameNode堆内存使用率指标默认提供一个阈值范围。当HDFS NameNode堆内存使用率超出阈值范围时，产生该告警。
NameNode非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS NameNode非堆内存使用率，并把实际的HDFS NameNode非堆内存使用率和阈值相比较。HDFS NameNode非堆内存使用率指标默认提供一个阈值范围。当HDFS NameNode非堆内存使用率超出阈值范围时，产生该告警。
有限内存并不意味着内存无限小，它只是在内存不足于放下大于内存可用总量几倍的数据时，通过利用磁盘来做辅助从而确保查询依然稳定执行，但依然有一些数据是必须留在内存的，如在做涉及到Join的查询时，对于当前用于Join的相同key的数据还是需要放在内存中，如果该数据量较大而内存较小依
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
