华为云首页用户手册

数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:整库场景

数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:整库场景

时间：2024-09-13 17:14:06

数据治理中心 DATAARTS STUDIO 配置源端和目标端参数

整库场景

源端配置。
添加数据源，选择需要迁移的MySQL表。
图1 选择库表

库与表均支持自定义选择，即可选择一库一表，也可选择多库多表。
目标端配置。
图2 配置目标端参数
- 设置源表与Topic映射规则：
  - 目标Topic名称规则：源端表名与目的端Topic名的映射规则，可以指定为单一Topic，也可使用内置字段做映射。
    可以使用的内置变量有：
    
    #{source_db_name}：源库名。
    
    #{source_table_name}：源库名。
  - 同步kafka partition策略：支持以下三种投递策略，源端无主键情况下，目的端默认投递到partition 0。
    - 按库名+表名的hash值投递到不同Partition。
    - 全部投递到Partition 0。
    - 按表的主键值hash值投递到不同的Partition。
  - 需要同步的数据库操作：支持同步的数据库操作为DDL和DML。
  - 投递到Kafka的数据格式：投递到Kafka的数据格式有Debezium JSON和Canal JSON。
- 源表与目标表映射：支持用户根据实际需求修改映射后的目的端topic名称，可以配置为一对一、多对一的映射关系。
  图3 配置源表与目标表映射

上一篇：数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:分库分表场景

下一篇：数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:分库分表场景

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:整库场景

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题