MAPREDUCE服务 MRS-如何在CarbonData中配置非安全内存？:回答

时间：2024-11-28 01:44:19

MAPREDUCE服务 MRS

回答

在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty offheapmemory required”参数值的总和，或者“carbon.unsafe.working.memory.in.mb”、“carbon.sort.inememory.storage.size.in.mb”与“Netty offheapmemory required”参数值的总和。否则，如果堆外（off heap）访问超出配置的executor内存，则YARN可能会停止executor。

“Netty offheapmemory required”说明：当“spark.shuffle.io.preferDirectBufs”设为true时，Spark中netty传输服务从“spark.yarn.executor.memoryOverhead”中拿掉部分堆内存[~ 384 MB or 0.1 x 执行器内存]。

详细信息请参考常见配置Spark Executor堆内存参数。

上一篇：MAPREDUCE服务 MRS-为什么数据查询/加载失败，且发生“org.apache.carbondata.core.memory.MemoryException: Not enough memory”异常？:回答

下一篇：MAPREDUCE服务 MRS-为什么创建Hive表失败？:回答