MAPREDUCE服务 MRS-配置Hudi分区并发控制:注意事项
注意事项
分区并发写控制基于单表并发写控制的基础上实现,因此使用约束条件与单表并控制写基本相同。
当前分区并发只支持Spark方式写入,Flink不支持该特性。
为避免过大并发量占用ZooKeeper过多资源,对Hudi在ZooKeeper上增加了Quota配额限制,可以通过服务端修改Spark组件中参数zk.quota.number来调整Hudi的Quota配额,默认为500000,最小为5,且不可通过此参数来控制并行任务数,仅用来控制对ZooKeeper的访问压力。
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine