云服务器内容精选

华为云首页用户手册

配置源端和目标端参数

数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:整库场景

整库场景源端配置。添加数据源，选择需要迁移的MySQL表。图1 选择库表库与表均支持自定义选择，即可选择一库一表，也可选择多库多表。目标端配置。图2 配置目标端参数设置源表与Topic映射规则：目标Topic名称规则：源端表名与目的端Topic名的映射规则，可以指定为单一Topic，也可使用内置字段做映射。可以使用的内置变量有： #{source_db_name}：源库名。 #{source_table_name}：源库名。同步kafka partition策略：支持以下三种投递策略，源端无主键情况下，目的端默认投递到partition 0。按库名+表名的hash值投递到不同Partition。全部投递到Partition 0。按表的主键值hash值投递到不同的Partition。需要同步的数据库操作：支持同步的数据库操作为DDL和DML。投递到Kafka的数据格式：投递到Kafka的数据格式有Debezium JSON和Canal JSON。源表与目标表映射：支持用户根据实际需求修改映射后的目的端topic名称，可以配置为一对一、多对一的映射关系。图3 配置源表与目标表映射

数据治理中心 DATAARTS STUDIO 配置源端和目标端参数
数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:分库分表场景

分库分表场景源端配置。图4 添加逻辑表逻辑表名：即最终写入到DMS Kafka的表名。源库过滤条件：支持填入正则表达式，在所有Mysql实例中通过该正则表达式过滤出要写入目标端DWS汇聚表的所有分库源表过滤条件：支持填入正则表达式，在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表已添加的逻辑表支持预览，单击操作列的预览即可。预览逻辑表，源表数量越多，等待时间可能越长，请耐心等待。图5 逻辑表预览目标端配置。图6 配置目标端参数设置源表与Topic映射规则：目标Topic名称规则：源端表名与目的端Topic名的映射规则，可以指定为单一Topic，也可使用内置字段做映射。可以使用的内置变量有： #{source_db_name}：源库名。 #{source_table_name}：源库名。同步kafka partition策略：支持以下三种投递策略，源端无主键情况下，目的端默认投递到partition 0。按库名+表名的hash值投递到不同Partition。全部投递到Partition 0。按表的主键值hash值投递到不同的Partition。需要同步的数据库操作：支持同步的数据库操作为DDL和DML。投递到Kafka的数据格式：投递到Kafka的数据格式有Debezium JSON和Canal JSON。源表与目标表映射：支持用户根据实际需求修改映射后的目的端topic名称，可以配置为一对一、多对一的映射关系。图7 配置源表与目标表映射

数据治理中心 DATAARTS STUDIO 配置源端和目标端参数