检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data_type String 字段类型。 domain_type String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型 选择Oracle数据库连接类型: Service
端对应类型的字段中。 字段映射配置:选择字段映射关系、设置字段批量映射规则。 字段映射关系 同名映射:对字段名称相同的字段进行映射。使用已有数据进行相同列名的字段自动映射。 同行映射:源表和目标表的字段名称不一致,但字段对应相同行的数据进行映射。查询源端和目的端的字段,再进行相同行的字段自动映射。
data_type String 字段类型。 domain_type String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend
data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value value object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of RelationVO objects
单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。 值:${timestamp()},更多时间宏变量请参见表1。 图3 添加字段 表1 时间变量宏定义具体展示
单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。 值:${timestamp()},更多时间宏变量请参见表1。 图3 添加字段 表1 时间变量宏定义具体展示
√ √ √ × √ × 云数据库 RDS(云数据库MySQL) √ √ √ √ √ √ × 云数据库 RDS(云数据库PostgreSQL) √ √ √ √ √ × × 云数据库 RDS(云数据库SQL Server) √ × × √ × × × MySQL √ √ × × √ √
如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads
据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割,例如:“data.list”。 fromJobConfig.encodeType 否 String 编码类型,例如:“UTF_8”或“GBK”。 fromJobConfig
Hive)和RDS MySQL类型的数据连接,请参考创建DataArts Studio数据连接。 AI识别结果同步前,需要在数据目录组件对数据进行过元数据采集,详见元数据采集任务,否则会导致同步失败。 约束与限制 入湖检测规则检测方式仅支持DWS、DLI、MRS Hive和RDS MySQL类型的数据源。
fieldSeparator 否 String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符,选择“true”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。
Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据湖探索(DLI)”,输入数据连接名称,单击“测试”,提示连接成功,单击“确定”。 创建DWS数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据仓库服务(DWS)”,输入数据连接
使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 后端数据源 输入后端数据库的类型,当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码,以“:”隔开。即ip:port:dbs:userna
用来分隔关系数据库的表和列名。 _ 值分隔符 以STRING方式存储,列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; 字段相同 “值存储类型”选择“HASH”时,显示该参数,是否允许哈希键内有相同的字段。 否 父主题: 配置作业源端参数
data_type String 字段类型。 domain_type String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend
data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value Array of DataConnectionVO objects 数据连接信息数组 表6 DataConnectionVO 参数 参数类型 描述 dw_name String 数据连接名称。 dw_id
data_type String 字段类型。 domain_type String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend
连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 表4 DWS类型的连接配置项说明 参数名 是否必选 参数类型 说明 clusterName
data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value value object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of CatalogVO objects