MAPREDUCE服务 MRS-Kafka表开发建议:Kafka作为source表时应设置限流

时间:2024-05-20 14:54:49

Kafka作为source表时应设置限流

本章节适用于 MRS 3.3.0及以后版本。

防止上限超过流量峰值,导致作业异常带来不稳定因素。因此建议设置限流,限流上限应该为业务上线压测的峰值。

【示例】

#如下参数作用在每个并行度
'scan.records-per-second.limit' = '1000'
#真实的限流流量如下
min( parallelism * scan.records-per-second.limit,partitions num * scan.records-per-second.limit)
support.huaweicloud.com/devg-rule-mrs/mrs_07_450151.html