MAPREDUCE服务 MRS-配置Hudi分区并发控制:注意事项

时间:2024-07-02 16:40:06

注意事项

分区并发写控制基于单表并发写控制的基础上实现,因此使用约束条件与单表并控制写基本相同。

当前分区并发只支持Spark方式写入,Flink不支持该特性。

为避免过大并发量占用ZooKeeper过多资源,对Hudi在ZooKeeper上增加了Quota配额限制,可以通过服务端修改Spark组件中参数zk.quota.number来调整Hudi的Quota配额,默认为500000,最小为5,且不可通过此参数来控制并行任务数,仅用来控制对ZooKeeper的访问压力。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248924.html