数据治理中心 DATAARTS STUDIO-配置分库源端参数

时间:2024-09-09 17:46:44

配置分库源端参数

作业中源连接为分库连接,源端作业参数如表1所示。

表1 分库作为源端时的作业参数

参数类型

参数名

说明

取值样例

基本参数

模式或表空间

表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。

如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。

该参数支持配置正则表达式,实现导出满足规则的所有数据库。例如:表名配置为user_[0-9]{1,2},会匹配 user_0 到 user_9,user_00 到 user_99 的表。

SCHEMA_E

表名

表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。

如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。

该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步

该参数支持配置正则表达式,实现导出满足规则的所有数据库。

说明:

如果配置了时间宏变量,通过 DataArts Studio 数据开发调度 CDM 迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。

table

高级属性

Where子句

表示配置抽取范围的Where子句,不配置时抽取整表。

该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移

说明:

如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。

DS='${dateformat(yyyy-MM-dd,-1,DAY)}'

  • 选择源连接名称为分库连接对应的后端连接时,此作业即为普通的MySQL作业。
  • 新建源端为分库连接的作业时,在字段映射阶段,可以在源字段新增样值为“${custom(host)}”样式的自定义字段,用于在多个数据库中的多张表迁移到同一张表后,查看表的数据来源。支持的样值包括:
    • ${custom(host)}
    • ${custom(database)}
    • ${custom(fromLinkName)}
    • ${custom(schemaName)}
    • ${custom(tableName)}
support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1256.html