检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件格式：同源端相同，选择“二进制格式”。 其它可选参数保持默认即可。 单击“下一步”进行任务配置，其中抽取并发数默认为3，适当增加可以增加迁移速率，本例中设置为8，其它参数保持默认即可。 重复上述步骤创建其它迁移目录的作业，参数配置都相同。2个CDM集群的作业个数平均分配，并发执行。 作业执行完成后，
抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。 作业运行完是否删除：可选择是否自动删除作业。 JSON样例 "driver-config-values": {
hoodie目录。可能删表的时候只删了文件而没有drop table。 设置为主键或者预聚合键的列有空值，写入hoodie会失败。 查看作业配置，查看表属性中hoodie.datasource.write.recordkey.field、hoodie.datasource.write
linkConfig.user 否 String 登录Manager平台的用户名，使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码，使用集群配置时不用配置 linkConfig.authType 否 枚举 认证类型，分为以下两种：
CDM可以实现在同构、异构数据源之间进行表/文件级别以及整库的数据迁移，支持配置作业定时任务及抽取并发数、作业定时备份/恢复、配置作业环境变量、作业批量导入/导出等功能。 新建表/文件迁移作业 新建整库迁移作业 配置作业源端参数 配置作业目的端参数 作业配置管理 批量管理作业 已发布区域：全部 API 您可
创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。
云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 MySQL
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP
String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID，由系统生成，用户无需填写。 type 否 String 配置类型，由系统
败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该
aArts Studio 用户指南》的新建作业章节。 各节点与作业的配置详情请参见后续步骤。 图2 DLF作业 配置“创建作业”节点。 DLF通过Rest Client节点调用REST接口创建CDM迁移作业。配置Rest Client节点的属性如下 ： 节点名称：您自定义名称，例
否 String 路径过滤器，过滤类型为通配符时配置，用于过滤文件目录，例如：“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器，过滤类型为通配符时配置，用于过滤目录下的文件，支持配置多个文件，中间使用“,”分隔，例如：“*.csv
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP
（可选）在标签列表中，单击标签操作列“删除”，删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所配置标签的资源。 在集群列表中，单击标签搜索，筛选出所配置标签的资源。 父主题： 创建并管理CDM集群
究、国际贸易促进等方面。 在这之前，H公司采用其自建的大数据集群，并安排专人维护，每年固定购买电信联通双线专用带宽，在机房、电力、专网、服务器、运维方面进行高额投入，但其在面对客户不断变化的业务诉求时，因为人员投入不足，大数据集群能力不匹配，而无法聚焦业务创新，使得存量100T的数据只有4%的利用率。
否 String 路径过滤器，过滤类型为通配符时配置，用于过滤文件目录，例如：“*input”。 fromJobConfig.fileFilter 否 String 文件过滤器，过滤类型为通配符时配置，用于过滤目录下的文件，支持配置多个文件，中间使用“,”分隔，例如：“*.csv
String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID，由系统生成，用户无需填写。 type 否 String 配置类型，由系统
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
t-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 variables 否 Object 启动作业，配置变量参数，作业配置无变量时，为空对象。 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 submissions Array
String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID，由系统生成，用户无需填写。 type 否 String 配置类型，由系统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
