云数据迁移 CDM-配置神通(ST)源端参数

时间:2024-12-02 10:57:37

配置神通(ST)源端参数

从神通(ST)导出数据时,源端作业参数如表1所示。

表1 神通(ST)作为源端时的作业参数

参数类型

参数名

说明

取值样例

基本参数

使用SQL语句

导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。

SQL语句

“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句, CDM 将根据该语句导出数据。

说明:
  • SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。
  • 不支持with语句。
  • 不支持注释 ,比如 "--" ,“/*”。
  • 不支持增删改操作,包括但不限于以下操作:
    • load data
    • delete from
    • alter table
    • create table
    • drop table
    • into outfile
  • 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。

select id,name from sqoop.user;

模式或表空间

“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。

如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。

说明:
该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如:
  • SCHEMA*表示导出所有以“SCHEMA”开头的数据库。
  • *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。
  • *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。

SCHEMA_E

表名

“使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。

如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。

该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步

说明:

如果配置了时间宏变量,通过 DataArts Studio 数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。

说明:
表名支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如
  • table*表示导出所有以“table”开头的表。
  • *table表示导出所有以“table”结尾的表。
  • *table*表示表名中只要有“table”字符串,就全部导出。

table

高级属性

抽取分区字段

“使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。

单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。

说明:

抽取分区字段支持TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。

id

Where子句

“使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。

该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移

说明:

如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。

DS='${dateformat(yyyy-MM-dd,-1,DAY)}'

分区字段含有空值

是否允许分区字段包含空值。

support.huaweicloud.com/usermanual-cdm/cdm_01_0290.html