云服务器内容精选

华为云首页用户手册

Smart Connect

分布式消息服务KAFKA版-配置Kafka间的数据复制:约束与限制

约束与限制单机实例不支持创建Kafka数据复制的Smart Connect任务。一个实例最多创建18个Smart Connect任务。使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络，方法可以参考使用VPCEP实现跨VPC访问Kafka或者对等连接。 Smart Connect任务创建成功后，不支持修改任务参数。 2022年7月1日前已开启Smart Connect的实例，如果没有Kafka数据复制，请先关闭Smart Connect，然后再重新开启Smart Connect。确保目标Kafka实例Topic的“批处理消息最大值”大于等于524288字节，否则会导致数据无法同步。如果目标Kafka实例没有创建Topic，在数据同步时会自动创建Topic，此Topic的“批处理消息最大值”和源Kafka实例Topic相同，此时需要确保源Kafka实例Topic的“批处理消息最大值”大于等于524288字节。修改“批处理消息最大值”的方法请参考修改Kafka Topic配置。

分布式消息服务KAFKA版使用Smart Connect迁移数据
分布式消息服务KAFKA版-开启Smart Connect:操作场景

操作场景 Smart Connect用于Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步，实现数据的备份。 Smart Connect的使用流程为：开启Smart Connect 创建Smart Connect任务本章节主要介绍如何开启Smart Connect。 3.x版本公测期间不支持开启Smart Connect。单机版实例不支持开启Smart Connect。

分布式消息服务KAFKA版 Smart Connect
分布式消息服务KAFKA版-创建Smart Connect任务（自定义）:操作场景

操作场景本章节介绍如何创建自定义的Smart Connect任务，通过Smart Connect任务可以实现分布式消息服务Kafka版和其他云服务之间的数据同步。自定义的Smart Connect任务可以实现以下几种数据同步： Redis数据转储至OBS：将源端Redis实例的数据复制到Kafka实例的Topic中，再通过Topic将此数据复制到目标OBS中。源端Redis实例的数据会实时同步到转储文件中。 Redis数据复制到Kafka：将源端Redis实例的数据复制到Kafka实例的Topic中。源端Redis实例的数据会实时同步到目标Kafka实例中。 Kafka数据复制到Redis：将源端Kafka实例的数据复制到Redis实例中。源端Kafka实例的数据会实时同步到目标Redis实例中。 2022年7月1日前创建的实例不支持自定义的Smart Connect任务。 3.x版本公测期间不支持创建自定义的Smart Connect任务。

分布式消息服务KAFKA版 Smart Connect