分布式消息服务KAFKA版-Kafka业务迁移:实施步骤(方案二:同时消费,后迁生产)

时间:2024-03-26 15:25:36

实施步骤(方案二:同时消费,后迁生产)

指消费者业务启用多个消费客户端,分别向原Kafka和新Kafka实例消费消息,然后将生产业务切到新Kafka实例,这样能确保所有消息都被及时消费。

  1. 启动新的消费客户端,配置Kafka连接地址为新Kafka实例的连接地址,消费新Kafka实例中的数据。

    原有消费客户端需继续运行,消费业务同时消费原Kafka与新Kafka实例的消息。

  2. 修改生产客户端,Kafka连接地址改为新Kafka实例的连接地址。
  3. 重启生产客户端,将生产业务迁移到新Kafka实例中。
  4. 生产业务迁移后,观察连接新Kafka实例的消费业务是否正常。
  5. 等待原Kafka中数据消费完毕,关闭原有消费业务客户端。
  6. 迁移结束。

迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前,已经有消费业务运行在新Kafka实例上,因此不会存在端到端时延的问题。但在迁移生产的开始阶段,同时消费原Kafka与新Kafka实例,会导致部分消息之间的生产顺序无法保证,存在消息乱序的问题。此场景适用于对端到端时延有要求,却对消息顺序不敏感的业务

support.huaweicloud.com/bestpractice-kafka/kafka-bp-migration.html