MAPREDUCE服务 MRS-调整Spark Core进程参数:操作场景

时间:2024-07-02 16:40:02

操作场景

Spark on Yarn模式下,有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。

因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1982.html