检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本开发流程 脚本开发功能提供如下能力： 提供在线脚本编辑器，支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力，支持多人协同开发场景。 支持脚本的版本管理能力，支持生成保存版本和提交版本。 保存版本时
数据集成（CDM作业） 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。 图1 新建字段转换器
可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确
数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自
数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自
下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如图1所示。 图1 新建字段转换器
est2 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 JSON：以JSON格式解析源数据。 CDC（DRS）：以DRS格式解析源数据。 CDC（JSON）：以JSON格式解析源数据。 CDC（D
图3 选择数据连接及资源组 无可选数据连接时，可单击“新建”跳转至管理中心数据连接界面，单击“创建数据连接”创建数据连接，详情请参见配置DataArts Studio数据连接参数进行配置。 无可选资源组时，可单击“新建”跳转至购买资源组页面创建资源组配置，详情请参见购买创建数据集成资源组增量包进行配置。
请输入有效的消费组ID。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String
DIS分区ID，该参数支持输入多个分区ID，使用“,”分隔。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.separator 否 String 字段分隔符。
CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 ORC格式：以ORC格式解析源文件，一般都是用于迁移文件到数据表的场景。 PARQUET格式：以PARQUET格式解析源文件，一般都是用于迁移文件到数据表的场景。
取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CSV格式：以CSV格式解析源数据。 JSON格式 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据，专
如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream，需要解析转化为一个文件，可以参考解析响应消息体中的流样例代码。响应是一个压缩文件，文件名称格式是DLF_All_DataConnections.zip，压缩文件里面的文件目录如下：
文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。
是，将CDM集群开机后，确认管理中心的数据连接恢复正常。 否，跳转至步骤2。 检查该CDM集群是否同时被用于数据迁移作业和管理中心连接代理。 是，您可以错开数据迁移作业和管理中心连接代理的使用时间，或再创建CDM集群，与原有CDM集群分开使用。 否，跳转至步骤3。 直接重启该CDM集群，释放连接池资源。确认管理中心的数据连接恢复正常。
如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream，需要解析转化为一个文件，可以参考解析响应消息体中的流样例代码。响应是一个压缩文件，文件名称格式DLF_{job_name}.zip，压缩文件里面的文件目录如下：
附录 公共消息头 解析响应消息体中的流 状态码 错误码
"exportDepend":true } 响应示例 成功响应 响应消息的Content-Type是application/octet-stream，需要解析转化为一个文件，可以参考解析响应消息体中的流样例代码。响应是一个压缩文件，文件名为jobs.zip，解压后文件结构如下： jobs +---job_batch
文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
