华为云首页用户手册

MapReduce服务 MRS-Kafka基本原理:Kafka原理

MapReduce服务 MRS-Kafka基本原理:Kafka原理

时间：2025-02-12 15:03:44

MapReduce服务 MRS

Kafka原理

消息可靠性
Kafka Broker收到消息后，会持久化到磁盘，同时，Topic的每个Partition有自己的Replica（备份），每个Replica分布在不同的Broker节点上，以保证当某一节点失效时，可以自动故障转移到可用消息节点。
高吞吐量
Kafka通过以下方式提供系统高吞吐量：
- 数据磁盘持久化：消息不在内存中缓存，直接写入到磁盘，充分利用磁盘的顺序读写性能。
- Zero-copy：减少IO操作步骤。
- 数据批量发送：提高网络利用率。
- Topic划分为多个Partition，提高并发度，可以由多个Producer、Consumer数目之间的关系并发来读、写消息。Producer根据用户指定的算法，将消息发送到指定的Partition。
消息订阅-通知机制
消费者对感兴趣的主题进行订阅，并采取pull的方式消费数据，使得消费者可以根据其消费能力自主地控制消息拉取速度，同时，可以根据自身情况自主选择消费模式，例如批量、重复消费，从尾端开始消费等；另外，需要消费者自己负责维护其自身消息的消费记录。
可扩展性
当在Kafka集群中可通过增加Broker节点以提供更大容量时。新增的Broker会向ZooKeeper注册，而Producer及Consumer会及时从ZooKeeper感知到这些变化，并做出调整。

上一篇：MapReduce服务 MRS-Kafka基本原理:Kafka开源特性

下一篇：MapReduce服务 MRS-Kafka基本原理:Kafka结构

开年采购季抽奖赢万元免单

立即前往

续费同价 L实例 2核2G 4M

98元/年

企业专享 X实例 2核4G 5M

198元/年

热门域名 1元随心购

1元/年起

MapReduce服务 MRS-Kafka基本原理:Kafka原理

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题