检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用的非堆内存的最大值和“IndexServer2x非堆内存使用率统计（IndexServer2x）”阈值的比值。 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > IndexServer2x非堆内存使用率统计
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点ZooKeeper实例内存使用量过大，或分配的内存不合理，导致使用量超过阈值。 处理步骤 检查内存使用量。 在MRS集群详情页面，单击“告警管理
在“运维 > 告警 > 阈值设置 > Kudu”，找到该告警的阈值，再对比集群KuduTserver实例的内存使用百分比监控项，和阈值对比，查看阈值超过情况，找到内存使用百分比超阈值的节点。 通过增加节点、重新规划任务等方式，处理Tserver节点内存使用百分比过高的问题，或修改阈值。
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark
2x使用非堆内存的最大值和“JobHistory2x非堆内存使用率统计 (JobHistory2x)”阈值的比值。 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > JobHistory2x非堆内存使用率统计
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证
ALM-43010 JDBCServer2x进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测JDBCServer2x进程堆内存使用状态，当检测到JDBCServer2x进程堆内存使用率超出阈值（最大内存的95%）时产生该告警。 MRS 3.3.0-LTS及之后的版本中，S
ALM-43012 JDBCServer2x进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测JDBCServer2x进程直接内存使用状态，当检测到JDBCServer2x进程直接内存使用率超出阈值（最大内存的95%）时产生该告警。 MRS 3.3.0-LTS及之后的版本
传输服务从"spark.yarn.executor.memoryOverhead"中拿掉部分堆内存[~ 384 MB or 0.1 x 执行器内存]。 详细信息请参考常见配置Spark Executor堆内存参数。 父主题： CarbonData常见问题
JobHistory进程非堆内存使用率过高，会影响JobHistory进程运行的性能，甚至造成内存溢出导致JobHistory进程不可用。 可能原因 该节点JobHistory进程非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。
JDBCServer进程堆内存使用率过高，会影响JDBCServer进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。 可能原因 该节点JDBCServer进程堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。
ALM-14039 集群内存在慢DataNode 告警解释 系统每60秒周期性检测HDFS DataNode实例每秒出现的慢操作次数，并把次数与阈值相比较。当HDFS DataNode实例持续3分钟出现每秒的慢操作次数超出阈值，产生该告警。 当HDFS DataNode实例每秒出
x使用的非堆内存的最大值和“JDBCServer2x非堆内存使用率统计（JDBCServer2x）”阈值的比值。 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > JDBCServer2x非堆内存使用率统计（J
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark
JDBCServer进程非堆内存使用率过高，会影响JDBCServer进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。 可能原因 该节点JDBCServer进程非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。
JDBCServer进程直接内存使用率过高，会影响JDBCServer进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。 可能原因 该节点JDBCServer进程直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率。 登录MRS集群详情页面，选择“告警管理”。
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
Flume启动失败 问题现象 安装Flume服务或重启Flume服务失败。 原因分析 Flume堆内存设置的值大于机器剩余内存，查看Flume启动日志： [CST 2019-02-26 13:31:43][INFO] [[checkMemoryValidity:124]] [GC_OPTS
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力
这是性能规格的问题，MapReduce任务运行失败的根本原因是由于ApplicationMaster的内存溢出导致的，即物理内存溢出导致被NodeManager kill。 解决方案： 将ApplicationMaster的内存配置调大，在客户端“客户端安装路径/Yarn/config/mapred-site
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
