MAPREDUCE服务 MRS-Spark On Hudi性能调优:优化Spark Shuffle参数提升Hudi写入效率

时间:2024-05-15 22:32:40

优化Spark Shuffle参数提升Hudi写入效率

  • 开启spark.shuffle.readHostLocalDisk=true,本地磁盘读取shuffle数据,减少网络传输的开销。
  • 开启spark.io.encryption.enabled=false,关闭shuffle过程写加密磁盘,提升shuffle效率。
  • 开启spark.shuffle.service.enabled=true,启动shuffle服务,提升任务shuffle的稳定性。

    配置项

    集群默认值

    调整后

    --conf spark.shuffle.readHostLocalDisk

    false

    true

    --conf spark.io.encryption.enabled

    true

    false

    --conf spark.shuffle.service.enabled

    false

    true

support.huaweicloud.com/devg-rule-mrs/zh-cn_topic_0000001826372990.html