MAPREDUCE服务 MRS-Spark常用配置参数:Executor配置
下载MAPREDUCE服务 MRS用户手册完整版
Executor配置
Executor也是单独一个Java进程，但不像Driver和AM只有一个，Executor可以有多个进程，而目前Spark只支持相同的配置，即所有Executor的进程参数都必然是一样的。
|
参数 |
描述 |
默认值 |
|---|---|---|
|
spark.executor.extraJavaOptions |
传递至Executor的额外JVM选项。例如，GC设置或其他日志记录。请注意不能通过此选项设置Spark属性或heap大小。Spark属性应该使用SparkConf对象或调用spark-submit脚本时指定的spark-defaults.conf文件来设置。Heap大小可以通过spark.executor.memory来设置。 |
|
|
spark.executor.extraClassPath |
附加至Executor classpath的额外的classpath。这主要是为了向后兼容Spark的历史版本。用户一般不用设置此选项。 |
- |
|
spark.executor.extraLibraryPath |
设置启动executor JVM时所使用的特殊的library path。 |
|
|
spark.executor.userClassPathFirst |
（试验性）与spark.driver.userClassPathFirst相同的功能，但应用于Executor实例。 |
false |
|
spark.executor.memory |
每个Executor进程使用的内存数量，与JVM内存设置字符串的格式相同（例如：512M，2G）。 |
4G |
|
spark.executorEnv.[EnvironmentVariableName] |
添加由EnvironmentVariableName指定的环境变量至executor进程。用户可以指定多个来设置多个环境变量。 |
- |
|
spark.executor.logs.rolling.maxRetainedFiles |
设置系统即将保留的最新滚动日志文件的数量。旧的日志文件将被删除。默认关闭。 |
- |
|
spark.executor.logs.rolling.size.maxBytes |
设置滚动Executor日志的文件的最大值。默认关闭。数值以字节为单位设置。如果要自动清除旧日志，请查看spark.executor.logs.rolling.maxRetainedFiles。 |
- |
|
spark.executor.logs.rolling.strategy |
设置executor日志的滚动策略。默认滚动关闭。可以设置为“time”（基于时间的滚动）或“size”（基于大小的滚动）。当设置为“time”，使用spark.executor.logs.rolling.time.interval属性的值作为日志滚动的间隔。当设置为“size”，使用spark.executor.logs.rolling.size.maxBytes设置滚动的最大文件大小滚动。 |
- |
|
spark.executor.logs.rolling.time.interval |
设置executor日志滚动的时间间隔。默认关闭。合法值为“daily”、“hourly”、“minutely”或任意秒。如果要自动清除旧日志，请查看spark.executor.logs.rolling.maxRetainedFiles。 |
daily |
