MAPREDUCE服务 MRS-Kafka相关特性说明:Kafka Idempotent特性

时间:2024-11-28 01:44:32

Kafka Idempotent特性

特性说明:Kafka从0.11.0.0版本引入了创建幂等性Producer的功能,开启此特性后,Producer自动升级成幂等性Producer,当Producer发送了相同字段值的消息后,Broker会自动感知消息是否重复,继而避免数据重复。需要注意的是,这个特性只能保证单分区上的幂等性,即一个幂等性Producer能够保证某个主题的一个分区内不出现重复消息;只能实现单会话上的幂等性,这里的会话指的是Producer进程的一次运行,即重启Producer进程后,幂等性不保证。

开启方法:

  1. 二次开发代码中添加“props.put(“enable.idempotence”,true)”。
  2. 客户端配置文件中添加“enable.idempotence = true”。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2312.html