检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考
DIS的通道名。 dis 是否持久运行 用户自定义是否永久运行。设置为长久运行的任务，如果DIS系统发生中断，任务也会失败结束。 是 DIS分区ID DIS分区ID，该参数支持输入多个分区ID，使用英文逗号（,）分隔。 0,1,2 偏移量参数 设置从DIS拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。
cloudtable.com:2181 IAM统一身份认证 如果所需连接的CloudTable集群在创建时开启了“IAM统一身份认证”，该参数需设置为“是”，否则设置为“否”。 当选择IAM统一身份认证时，需要输入用户名、AK和SK。 否 用户名 登录CloudTable集群的用户名。 admin
如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 脱敏 隐藏字符串中的关
如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 脱敏 隐藏字符串中的关
先导入阶段表，如果设置为“true”，数据导入目的表之前会把数据先导入阶段表，如果成功导入阶段表，则再从阶段表导入到目的表，这样避免导入过程失败，在目的表遗留部分成功数据。 toJobConfig.extendCharLength 否 Boolean 扩大字符字段长度，如果设置为“tru
个文件，默认为|。 fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。 fromJobConfig
如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如CDM不支持源端迁移
metastore中存在，但是表目录不存在，根因是在表目录下没有.hoodie目录。可能删表的时候只删了文件而没有drop table。 设置为主键或者预聚合键的列有空值，写入hoodie会失败。 查看作业配置，查看表属性中hoodie.datasource.write.recordkey
Long 最近一次执行任务创建时间，单位：毫秒。由系统生成，用户无需填写。 status 否 String 作业最后的执行状态： BOOTING：启动中。 RUNNING：运行中。 SUCCEEDED：成功。 FAILED：失败。 NEW：未被执行。 表5 ConfigValues 参数
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
Long 最近一次执行任务创建时间，单位：毫秒。由系统生成，用户无需填写。 status 否 String 作业最后的执行状态： BOOTING：启动中。 RUNNING：运行中。 SUCCEEDED：成功。 FAILED：失败。 NEW：未被执行。 表5 ConfigValues 参数
开始时间(>=) “偏移量参数”选择为“时间范围”时配置。拉取数据的开始时间，包含设置时间点的数据。 2020-12-20 12:00:00 结束时间(<) “偏移量参数”选择为“时间范围”时配置。拉取数据的结束时间，不包含设置时间点的数据。 2020-12-20 20:00:00 字段分隔符
隔符来区分各个文件，默认为|。列表文件选择“是”时，不显示该参数。 | QUERY参数 该参数设置为“是”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“否”时，上传到OBS的对象使用的对象名，包含query参数。 否 忽略不存在原路径/文件 如
API创建数据迁移作业？ 如何将云下内网或第三方云上的私网与CDM连通？ CDM是否支持参数或者变量？ CDM迁移作业的抽取并发数应该如何设置？ CDM是否支持动态数据实时迁移功能？ CDM是否支持集群关机功能？ 如何使用表达式方式获取当前时间？ 在创建迁移作业时，where语句参数中的时间格式是怎样的？
可通过以下两种方式解决问题： 修改目的端建表语句，INT类型为BOOL类型； 源端修改MySql参数，将该"mysql.bool.type.transform"参数设置为"false"。 其中第二种方式可以在CDM的Mysql连接器高级属性中添加： 连接管理-Mysql连接-高级属性-添加参数 mysql
查看CDM迁移作业，源端数据库表名全部为小写，但是迁移的表中是包含有大写字母，将所要迁移的表名跟数据库中保持一致，目的端字段就可以映射出来了，问题解决。 解决方案 在作业设置中，源端配置中迁移的数据库表名应按照数据库中的名称填写或者通过搜索选择表名，问题解决。 父主题： 故障处理类
topic列表，可以为多个topic，以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置： LATEST：最大偏移量，即最新的数据。 EARLIEST：最小偏移量，即最老的数据。 fromJobConfig.isPermanency
fromJobConfig.streamName 是 String DIS的通道名。 fromJobConfig.disConsumerStrategy 是 枚举 设置从DIS拉取数据时的初始偏移量： LATEST：最大偏移量，即最新的数据。 FROM_LAST_STOP：从上次停止处继续拉取。 EARLIEST：最小偏移量，即最早的数据。
选择是否拆分Rowkey，例如“true”。 fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符，若不设置则不切分，例如“|”。 fromJobConfig.startTime 否 String 时间区间左边界（包含该值），格式为“yyyy-MM-dd
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
