华为云首页用户手册

数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:分库分表场景

数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:分库分表场景

时间：2024-09-13 17:14:06

数据治理中心 DATAARTS STUDIO 配置源端和目标端参数

分库分表场景

源端配置。
图4 添加逻辑表

逻辑表名：即最终写入到DMS Kafka的表名。

源库过滤条件：支持填入正则表达式，在所有Mysql实例中通过该正则表达式过滤出要写入目标端DWS汇聚表的所有分库

源表过滤条件：支持填入正则表达式，在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表

已添加的逻辑表支持预览，单击操作列的预览即可。

预览逻辑表，源表数量越多，等待时间可能越长，请耐心等待。

图5 逻辑表预览
目标端配置。
图6 配置目标端参数
- 设置源表与Topic映射规则：
  - 目标Topic名称规则：源端表名与目的端Topic名的映射规则，可以指定为单一Topic，也可使用内置字段做映射。
    可以使用的内置变量有：
    
    #{source_db_name}：源库名。
    
    #{source_table_name}：源库名。
  - 同步kafka partition策略：支持以下三种投递策略，源端无主键情况下，目的端默认投递到partition 0。
    - 按库名+表名的hash值投递到不同Partition。
    - 全部投递到Partition 0。
    - 按表的主键值hash值投递到不同的Partition。
  - 需要同步的数据库操作：支持同步的数据库操作为DDL和DML。
  - 投递到Kafka的数据格式：投递到Kafka的数据格式有Debezium JSON和Canal JSON。
- 源表与目标表映射：支持用户根据实际需求修改映射后的目的端topic名称，可以配置为一对一、多对一的映射关系。
  图7 配置源表与目标表映射

上一篇：数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:整库场景

下一篇：数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:整库场景

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据治理中心 DATAARTS STUDIO-源端为MySQL，目的端为DMS Kafka:分库分表场景

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题