检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark
ALM-14016 DataNode直接内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS服务直接内存使用状态，当检测到DataNode实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
DataNode堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS DataNode堆内存使用率，并把实际的HDFS DataNode堆内存使用率和阈值相比较。HDFS DataNode堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode堆内存使用率超出阈值范围时，产生该告警。
怎么通过客户端设置Map/Reduce内存？ 问题现象 客户端怎么设置Map/Reduce内存？ 处理步骤 Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数： set mapreduce.map.memory
任务增量步进，与memoryStep共同决定内存调整量。 不能为空且大于零。 memoryStep 内存增量步进，在“yarn.app.mapreduce.am.resource.mb”配置的基础上对内存向上调整。 不能为空且大于零，单位：MB。 minMemory 内存自动调整下限，若调整后的内存不大于该值，仍保持“yarn
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证
Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类
任务增量步进，与memoryStep共同决定内存调整量 不能为空且大于零 memoryStep 内存增量步进，在"yarn.app.mapreduce.am.resource.mb"配置的基础上对内存向上调整 不能为空且大于零，单位：MB minMemory 内存自动调整下限，如果调整后的内存不大于该值，仍保持"yarn
Environment to continue. 使用free指令查看，该节点确实没有足够内存。 解决办法 现场进行排查内存不足原因，确认是否有某些进程占用过多内存，或者由于服务器自身内存不足。 父主题： 使用HBase
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用，Container会占用内存直到内存溢出；若检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用，Container会占用内存直到内存溢出；如果检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
根据2报错判断由于RegionServer内存不足导致RegionServer启动失败。 处理步骤 登录报错的RegionServer节点，执行以下命令查看节点剩余内存： free -g 执行top命令查看节点内存使用情况。 根据top提示结束内存占用多的进程（内存占用多并且非MRS自身组件的进程），并重新启动HBase服务。
提交Spark任务时Driver端提示运行内存超限 问题背景与现象 运行内存超限导致提交Spark任务失败。 原因分析 在Driver日志中直接打印申请的executor memory超过集群限制。 ... INFO Client: Verifying our application
务器的总物理RAM量的比例。如服务器物理内存为10G，该值设置为0.9，则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G，如果参数设置为0，则表示不限制，那么ClickHouse服务可以使用服务器的所有物理内存。该参数最多有效位为小数点后两位。 父主题：
ALM-12202 进程内存使用率超过阈值 告警解释 系统每30秒周期性检测OMS主要进程内存使用状态，当检测到OMS主要进程内存使用率大于最大内存的90%（默认）时，产生当前告警。 当OMS主要进程内存使用率小于等于最大内存的90%时，告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
