MAPREDUCE服务 MRS-spark.yarn.executor.memoryOverhead设置不生效如何处理?:原因分析

时间:2024-08-01 09:41:10

原因分析

从Spark 2.3版本开始,推荐使用新参数spark.executor.memoryOverhead设置executor的overhead内存大小,如果任务两个参数都设置,则spark.yarn.executor.memoryOverhead的值不生效,以spark.executor.memoryOverhead的值为最终值。

同样的参数还有driver的overhead内存设置:spark.driver.memoryOverhead

support.huaweicloud.com/mrs_faq/mrs_03_1263.html