分布式消息服务KAFKA版-Kafka数据迁移概述:迁移方案二：同时消费，后迁生产

时间：2024-09-09 17:10:20

分布式消息服务KAFKA版迁移数据

迁移方案二：同时消费，后迁生产

指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。

本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景适用于对端到端时延有要求，却对消息顺序不敏感的业务。

启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。

原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。
修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。
重启生产客户端，将生产业务迁移到新Kafka实例中。
生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。
等待原Kafka中数据消费完毕，关闭原有消费业务客户端。
迁移结束。