MAPREDUCE服务 MRS-Spark On Hudi性能调优:调整Spark调度参数优化OBS场景下Spark调度时延

时间:2024-11-06 21:54:31

调整Spark调度参数优化OBS场景下Spark调度时延

  • 开启对于OBS存储,可以关闭Spark的本地性进行优化,尽可能提升Spark调度效率

    配置项

    集群默认值

    调整后

    --conf spark.locality.wait

    3s

    0s

    --conf spark.locality.wait.process

    3s

    0s

    --conf spark.locality.wait.node

    3s

    0s

    --conf spark.locality.wait.rack

    3s

    0s

support.huaweicloud.com/devg-rule-mrs/mrs_07_450136.html