MAPREDUCE服务 MRS-基于Kafka的Word Count数据流统计案例:方案架构

时间:2024-08-05 16:12:35

方案架构

生产者(Producer)将消息发布到Kafka主题(Topic)上,消费者(Consumer)订阅这些主题并消费这些消息。

在Kafka集群上一个服务器称为一个Broker。对于每一个主题,Kafka集群保留一个用于缩放、并行化和容错性的分区(Partition)。每个分区是一个有序、不可变的消息序列,并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序(Offset)的序列化编号。

图1 Kafka结构
support.huaweicloud.com/bestpractice-mrs/mrs_05_0053.html