MAPREDUCE服务 MRS-Consumer消费数据时存在重复消费现象:原因分析

时间:2024-11-04 09:35:09

原因分析

原因:由于参数设置不当,数据量大时数据处理时间过长,导致频繁发生balance,此时offset无法正常提交,导致重复消费数据。

原理:每次poll的数据处理完后才提交offset,如果poll数据后的处理时长超出了session.timeout.ms的设置时长,此时发生rebalance导致本次消费失败,已经消费数据的offset无法正常提交,所以下次重新消费时还是在旧的offset消费数据,从而导致消费数据重复。

support.huaweicloud.com/trouble-mrs/mrs_03_0125.html