MAPREDUCE服务 MRS-使用External Shuffle Service提升Spark Core性能:操作场景

时间:2024-07-02 16:39:49

操作场景

Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重,导致触发GC(Garbage Collection)而不能为其他Executor提供shuffle数据时,会影响任务运行。

External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1980.html