MAPREDUCE服务 MRS-Kafka相关特性说明:Kafka Idempotent特性
Kafka Idempotent特性
特性说明:Kafka从0.11.0.0版本引入了创建幂等性Producer的功能,开启此特性后,Producer自动升级成幂等性Producer,当Producer发送了相同字段值的消息后,Broker会自动感知消息是否重复,继而避免数据重复。需要注意的是,这个特性只能保证单分区上的幂等性,即一个幂等性Producer能够保证某个主题的一个分区内不出现重复消息;只能实现单会话上的幂等性,这里的会话指的是Producer进程的一次运行,即重启Producer进程后,幂等性不保证。
开启方法:
- 二次开发代码中添加“props.put(“enable.idempotence”,true)”。
- 客户端配置文件中添加“enable.idempotence = true”。
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是Kafka_如何使用Kafka
- GaussDB产品特性_gaussdb最大优势_高斯数据库产品特性_华为云
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Flume_如何使用Flume
- MRS优势_什么是MRS_MRS功能
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- kafka是什么_kafka介绍_分布式消息服务Kafka版
- GaussDB数据库产品特性_华为gaussdb_高斯语法
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离