MAPREDUCE服务 MRS-常用参数:ExecutorLaucher配置

时间:2024-06-29 16:25:02

ExecutorLaucher配置

ExecutorLauncher只有在Yarn-Client模式下才会存在的角色,Yarn-Client模式下,ExecutorLauncher和Driver不在同一个进程中,需要对ExecutorLauncher的参数进行特殊的配置。

表11 参数说明

参数

描述

默认值

spark.yarn.am.extraJavaOptions

在Client模式下传递至YARN Application Master的一系列额外JVM选项。在Cluster模式下使用spark.driver.extraJavaOptions。

参考快速配置参数

spark.yarn.am.memory

针对Client模式下YARN Application Master使用的内存数量,与JVM内存设置字符串格式一致(例如:512m,2g)。在集群模式下,使用spark.driver.memory。

1G

spark.yarn.am.memoryOverhead

“spark.yarn.driver.memoryOverhead”一样,但只针对Client模式下的Application Master。

-

spark.yarn.am.cores

针对Client模式下YARN Application Master使用的核数。在Cluster模式下,使用spark.driver.cores。

1

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1931.html