分布式消息服务KAFKA版-Kafka数据迁移概述:迁移方案三：先迁消费，再迁生产

时间：2024-12-12 16:47:08

分布式消息服务KAFKA版迁移数据

指首先通过Smart Connect同步两个Kafka的消息，其次将消费端迁移到新Kafka，最后将生产端迁移到新Kafka。

本方案依赖于Smart Connect，Smart Connect实时同步源端和目标端的数据，但是消费进度是通过批处理同步的，可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异，存在少量重复消费问题。此场景适用于生产端不可停止，端到端有时延要求，但是可以兼容少量重复消费的业务。

创建Kafka数据复制的Smart Connect任务，用于同步两个Kafka的消息。具体步骤请参见配置Kafka间的数据复制。
在Kafka控制台的“消息查询”页面，查看两个Kafka的最新消息是否一致，确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。
- 是，执行3。
- 否，在监控页面查看两个Kafka的“Kafka每分钟同步数据量”是否正常，如果正常，先等待两个Kafka的同步进度一致，然后执行3。
将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。
重启消费业务，使得消费者从新Kafka实例中消费消息。
观察消费者是否能正常从新Kafka实例中获取数据。
修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。
重启生产客户端，将生产业务迁移到新Kafka实例中。
生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。
迁移结束。