检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。
DDS->Kafka 暂不支持 支持 暂不支持 PostgreSQL->Kafka 支持 支持 暂不支持 GaussDB(for MySQL)->Kafka 支持 支持 支持 GaussDB主备版->Kafka 支持 支持 暂不支持 GaussDB分布式版->Kafka 支持 支持
Kafka认证方式 PLAINTEXT方式 无安全认证方式，仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka，需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制
目标端Kafka准备 创建Kafka实例 创建Topic 父主题： RDS for MySQL同步到Kafka
本实践通过创建DRS同步任务，实现将源数据库RDS for MySQL的增量数据同步到目标端Kafka，主要包含以下部分内容： 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。
找运维人员修改为单线程写Kafka或配置Topic策略按表名自动生成。 投送到kafka的数据格式 选择Oracle投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据。 Json：为Json消息格式。 详细格式可参考Kafka消息格式。 同步对象 左
创建Topic 在“Kafka专享版”页面，单击Kafka实例的名称。 选择“Topic管理”页签，单击“创建Topic”。 在弹出的“创建Topic”的对话框中，填写Topic名称和配置信息，单击“确定”，完成创建Topic。 父主题： 目标端Kafka准备
增量同步过程中暂停、任务异常续传，目标Kafka中可能会出现重复数据，请使用Kafka数据中的id字段进行去重。 增量同步过程中，请勿在Kafka上删除接收DRS数据的topic，否则可能导致任务失败。 操作步骤 本小节以DDS到Kafka的出云单增量实时同步为示例，介绍如何使用数据复制服务配置实时同步任务。
将DDM同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 建议您在
视图/表、主外键关联表等。 全量同步过程中暂停、任务异常续传，目标Kafka中可能会出现重复数据，请使用Kafka数据中的identifier字段进行去重（同一个shardId）。 增量同步过程中，请勿在Kafka上删除接收DRS数据的topic，否则可能导致任务失败。 不支持外
不推荐使用此选项。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据，需要反序列化后解释。 JSON：为Json消息格式，方便解释格式，但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是
况下，不建议修改IP地址。 全量同步过程中暂停、任务异常续传，目标Kafka中可能会出现重复数据，请使用Kafka数据中的identifier字段进行去重（同一个shardId）。 增量同步过程中，请勿在Kafka上删除接收DRS数据的topic，否则可能导致任务失败。 不支持外
强事务要求，不推荐使用此选项。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据。 JSON：为Json消息格式，方便解释格式，但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对
Kafka Topic是否已创建 GaussDB->Kafka同步场景 表1 Kafka Topic是否已创建 预检查项 Kafka Topic是否已创建。 描述 若用户不在Kafka中提前创建Topic，DRS将在增量同步时自动创建Topic。 待确认提示及处理建议 待确认原因
数据类型不兼容时，可能引起同步失败。 全量同步过程中暂停、任务异常续传，目标Kafka中可能会出现重复数据，请使用Kafka数据中的identifier字段进行去重（同一个shardId）。 增量同步过程中，请勿在Kafka上删除接收DRS数据的topic，否则可能导致任务失败。 在创建D
RDS for MySQL同步到Kafka 概述 资源和成本规划 操作流程 创建VPC和安全组 源端RDS for MySQL准备 目标端Kafka准备 创建DRS同步任务 确认同步任务执行结果 父主题： 实时同步
c3 TIMESTAMP(6)); 创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的，选择区域。 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。
不推荐使用此选项。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据，需要反序列化后解释。 JSON：为Json消息格式，方便解释格式，但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是
操作流程 创建RDS for MySQL实例，并且将RDS for MySQL增量同步到Kafka的主要任务流程如图1所示。 图1 流程图 父主题： RDS for MySQL同步到Kafka
强事务要求，不推荐使用此选项。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据。 JSON：为Json消息格式，方便解释格式，但需要占用更多的空间。 详细格式可参考Kafka消息格式。 同步对象 左侧框是源数据库对
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
