分布式消息服务KAFKA版-Kafka数据迁移概述:迁移方案一:先迁生产,再迁消费

时间:2024-10-15 11:00:01

迁移方案一:先迁生产,再迁消费

指先将生产消息的业务迁移到新的Kafka,原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后,再将消费消息业务迁移到新的Kafka,开始消费新Kafka实例的消息。

本方案为业界通用的迁移方案,操作步骤简单,迁移过程由业务侧自主控制,整个过程中消息不会存在乱序问题,适用于对消息顺序有要求的场景。但是该方案中需要等待消费者业务直至消费完毕,存在一个时间差的问题,部分数据可能存在较大的端到端时延。

  1. 将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。
  2. 重启生产业务,使得生产者将新的消息发送到新Kafka实例中。
  3. 观察各消费组在原Kafka的消费进度,直到原Kafka中数据都已经被消费完毕。
  4. 将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。
  5. 重启消费业务,使得消费者从新Kafka实例中消费消息。
  6. 观察消费者是否能正常从新Kafka实例中获取数据。
  7. 迁移结束。
support.huaweicloud.com/usermanual-kafka/kafka-bp-migration.html