MapReduce服务 MRS-Flink性能调优建议:通过调整对应算子并行度提升性能

时间:2025-02-12 15:03:27

通过调整对应算子并行度提升性能

  • 读写Hudi可以通过配置读写并发提升读写性能。

    读算子的并行度调整参数:read.tasks

    写算子的并行度调整参数:write.tasks

  • 采用状态索引在作业重启的时候(非Checkpoint重启),需要读目标表重建索引,可以增大该算子并行度提升性能。

    加载索引的并行度调整参数:write.index_bootstrap.tasks

  • 采用状态索引写数据需要进行主键唯一性检查,分配具体写入文件,提升该算子并行度提升性能。

    写算子索引检测算子调整参数:write.bucket_assign.tasks

support.huaweicloud.com/devg-rule-mrs/mrs_07_450173.html