MAPREDUCE服务 MRS-Consumer消费数据时存在重复消费现象:原因分析
原因分析
原因:由于参数设置不当,数据量大时数据处理时间过长,导致频繁发生balance,此时offset无法正常提交,导致重复消费数据。
原理:每次poll的数据处理完后才提交offset,如果poll数据后的处理时长超出了session.timeout.ms的设置时长,此时发生rebalance导致本次消费失败,已经消费数据的offset无法正常提交,所以下次重新消费时还是在旧的offset消费数据,从而导致消费数据重复。
- MapReduce服务_什么是Kafka_如何使用Kafka
- Kafka架构_Kafka如何实现负载均衡_Kafka数据存储方式-华为云
- OBS数据恢复费用_OBS按需计费_OBS费用
- Hudi服务_什么是Hudi_如何使用Hudi
- 消息队列_数据交换问题_处理异步任务-华为云
- 大数据应用范围有哪些_大数据技术与应用要学习什么课程
- 分布式消息中间件实战_分布式消息实战_分布式消息-华为云
- MapReduce服务_什么是MapReduce服务_什么是HBase
- GaussDB分析_GaussDB数据库分析_高斯数据库分析_华为云
- 代码检查工具_代码检查平台_代码检查CodeArts Check-华为云