检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理？ 问题现象 主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生
Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults
ClickHouse客户端执行SQL查询时报内存不足如何处理？ 问题现象 ClickHouse会限制group by使用的内存量，在使用ClickHouse客户端执行SQL查询时报如下错误： Progress: 1.83 billion rows, 85.31 GB (68.80
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例堆内存使用量过大，或分配的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页，选择“运维
ALM-45442 SQL并发数过高 告警解释 告警模块按30秒周期检测ClickHouse服务的实际并发数，若并发数超过界面配置的并发阈值，系统产生此告警。 当系统检测到实际并发数低于并发阈值时，告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45442 重要 是 告警参数
DataNode堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS DataNode堆内存使用率，并把实际的HDFS DataNode堆内存使用率和阈值相比较。HDFS DataNode堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode堆内存使用率超出阈值范围时，产生该告警。
ALM-29015 Catalog进程内存占用率超过阈值 告警解释 以30s为周期检测Catalog进程系统内存占用率，当检测到的超过默认阈值（80%）时，系统产生此告警。 当系统检测到进程内存占用率下降到阈值以下时，告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29015
ALM-29104 Tserver进程内存占用率超过阈值 告警解释 系统每60秒周期性检测Kudu Tserver进程内存占用率，当检测到Tserver进程占用率超过阈值，此时产生该告警。 Tserver进程内存占用率恢正常后，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID
ALM-29004 Impalad进程内存占用率超过阈值 告警解释 以30s为周期检测Impalad进程系统内存占用率，当检测到的超过默认阈值（80%）时，系统产生此告警。 当系统检测到进程内存占用率下降到阈值以下时，告警将自动解除。 告警属性 告警ID 告警级别 是否可自动清除
进程使用内存情况，找到占用较高的内存的进程，检查是否是本服务应存在的进程，是否合理。 是，执行6。 否，对此进程进行隔离、关闭或调整内存大小处理，观察机器内存是否被释放出。 使用omm用户登录产生告警所在的BE节点，执行"free -g"查看系统使用中总的内存和剩余内存，查看剩余内存大小，预估使用率。
为什么MRS集群显示的资源池内存小于实际集群内存？ 问： 为什么MRS集群显示的资源池内存小于实际集群内存？ 答： 在MRS集群中，MRS默认为Yarn服务分配集群内存的50%，用户从逻辑上对Yarn服务的节点按照资源池进行分区管理，所以集群中显示的资源池总内存仅有集群总内存的50%。 父主题：
table时需要注意哪些方面？ 回答 Spark SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来
优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
打开Manager页面，查看NameNode的GC_OPTS参数配置如下： 图1 查看NameNode的GC_OPTS参数配置 NameNode内存配置和数据量对应关系参考表1。 表1 NameNode内存配置和数据量对应关系 文件对象数量 参考值 10,000,000 “-Xms6G -Xmx6G -XX:NewSize=512M
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证
Impalad的xmx内存小于catalog的xmx内存，Impalad节点持续报Full GC，SQL一直处于created状态 问题 Impalad的xmx内存小于Catalog的xmx内存，catalog长期运行，内存已经超过了impalad的xmx 内存，Impalad节点持续报Full
table时需要注意哪些方面？ 回答 Spark SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
