分布式消息服务KAFKA版-Kafka业务迁移:实施步骤(方案一:先迁生产,再迁消费)
实施步骤(方案一:先迁生产,再迁消费)
指先将生产消息的业务迁移到新的Kafka,原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后,再将消费消息业务迁移到新的Kafka,开始消费新Kafka实例的消息。
- 将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。
- 重启生产业务,使得生产者将新的消息发送到新Kafka实例中。
- 观察各消费组在原Kafka的消费进度,直到原Kafka中数据都已经被消费完毕。
- 将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。
- 重启消费业务,使得消费者从新Kafka实例中消费消息。
- 观察消费者是否能正常从新Kafka实例中获取数据。
- 迁移结束。
本方案为业界通用的迁移方案,操作步骤简单,迁移过程由业务侧自主控制,整个过程中消息不会存在乱序问题,适用于对消息顺序有要求的场景。但是该方案中需要等待消费者业务直至消费完毕,存在一个时间差的问题,部分数据可能存在较大的端到端时延。
- 分布式消息中间件实战_分布式消息实战_分布式消息-华为云
- kafka是什么_kafka介绍_分布式消息服务Kafka版
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- 分布式消息服务优势_分布式消息服务_消息队列-华为云
- 分布式消息服务有哪些_分布式消息服务哪个好_分布式消息-华为云
- Kafka架构_Kafka如何实现负载均衡_Kafka数据存储方式-华为云
- 分布式消息中间件的作用_分布式消息中间件_分布式消息-华为云
- 分布式消息系统Kafka_分布式消息系统_分布式消息kafka可以解决什么问题-华为云
- RocketMQ是什么_RocketMQ介绍_分布式消息服务RocketMQ版
- Kafka与其他消息队列的对比_什么是Kafka_分布式消息系统-华为云