MAPREDUCE服务 MRS-配置Yarn模式下Spark动态资源调度:操作场景

时间:2024-06-29 16:25:08

操作场景

对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JD BCS erver),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。

动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1981.html