检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以
Double、Decimal类型列的数据，会转换为Byte[]数组（二进制）写入HBase，其他类型的按字符串写入。如果这几种类型中，有合并做rowkey的，则依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 否：源端数据库中所有
Array of strings 源表名称数组，只读。 src_table_db_names Array of strings 源表db名称数组，只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组，只读，ID字符串。 src_table_id_list
SON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以
Array of strings 源表名称数组，只读。 src_table_db_names Array of strings 源表db名称数组，只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组，只读，ID字符串。 src_table_id_list
持人员。 前提条件 已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS Hive）和RDS MySQL类型的数据连接，请参考创建DataArts Studio数据连接。 AI识别结果同步前，需要在数据目录组件对数据进行过元数据采集，详见元数据采集任务，否则会导致同步失败。
数据集成提供30+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。
Array of strings 源表名称数组，只读。 src_table_db_names Array of strings 源表db名称数组，只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组，只读，ID字符串。 src_table_id_list
Array of strings 源表名称数组，只读。 src_table_db_names Array of strings 源表db名称数组，只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组，只读，ID字符串。 src_table_id_list
Array of strings 源表名称数组，只读。 src_table_db_names Array of strings 源表db名称数组，只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组，只读，ID字符串。 src_table_id_list
数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 connection_id 否 String 转化后物理表所属的数据连接ID。 database 否 String
记录节点，当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割，例如：“data.list”。 fromJobConfig.encodeType
Array of strings 源表名称数组，只读。 src_table_db_names Array of strings 源表db名称数组，只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组，只读，ID字符串。 src_table_id_list
通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 sslmode=require 引用符号 可选参数，连接引用表名或列
行存储到硬盘分区上。 DWS_COLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 DWS_VIEW：视图存表。视图存储是指将表按视图存储到硬盘分区上。 MRS_HIVE模型支持HIVE_TABLE和HIVE_EXTERNAL_TABLE。 MRS_SPARK模型支持HUDI_COW和HUDI_MOR。
Array of strings 源表名称数组，只读。 src_table_db_names Array of strings 源表db名称数组，只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组，只读，ID字符串。 src_table_id_list
详细使用方法请参见迁移文件时加解密。 AES-256-GCM 数据加密密钥 “加密方式”选择“AES-256-GCM”时显示该参数，密钥由长度64位的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时，源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
OBS连接 介绍 通过OBS连接，可以对对象存储服务（Object Storage Service，简称OBS）抽取或加载文件，支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置
数据解密密钥，密钥由长度64的十六进制数组成，且必须与加密时配置的“toJobConfig.dek”（导入时配置的数据加密密钥）一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 fromJobConfig.iv 否 String 解密需要的初始化向量，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“toJobConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
