检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这里的指定时间，是指文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。 如果配置了时间宏变量，通过DataArts
使用云数据迁移服务的首要操作就是购买集群，您可以根据需求购买不同规格集群，满足您快速创建集群、绑定集群EIP、重启集群、修改集群消息通知及用户隔离等需求。 创建集群 解绑/绑定集群的EIP 下载集群日志 查看集群基本信息 修改集群配置 查看监控指标 已发布区域：全部 创建连接 CDM有两种迁移方式，支持的数据源有所不同：
√ √ 重启集群 √ √ × × 修改集群配置 √ √ × × 删除集群 √ √ × × 创建连接 √ √ √ × 查询连接 √ √ √ √ 修改连接 √ √ √ × 删除连接 √ √ √ × 创建作业 √ √ √ × 查询作业 √ √ √ √ 修改作业 √ √ √ × 启动作业 √
unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务 job modifyJob 删除任务 job deleteJob
“过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前时间以前的文件。
character varying。类似的问题还有string转bigint，bigint转int。 解决方案 根据报错信息找到哪个字段映射有问题，找DBA修改表结构。 如果只有极少数据有问题，可以配置脏数据策略解决。 父主题： 故障处理类
Manager用户、用户组和角色配置都正确，发现Hive版本配置的为HIVE_3_X。 由于MRS1.8.1集群hive版本为1.2.1，故应该选择hive_1_X。正确修改连接器配置，重新创建作业正常。 父主题： 故障处理类
除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样
“过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前时间以前的文件。
net/SongYang_Oracle/article/details/6432182。 解决方案 三种解决办法： 调小每次查询的数据量。 调大Oracle数据的RBS，需要修改数据库配置。 减少频繁的commit操作，这个需要调整生产业务逻辑，基本不可能。 父主题： 故障处理类
由于客户作业中设置的并发数是8，程序选择IsDef作为分区字段，但是IsDef的类型是bit，不支持min运算所以会报错。 解决方案 通过修改作业json的方式将作业并发数设置为1即可，参数："throttlingConfig.numExtractors"。 在作业配置界面，源端参数配置的高级属性中，给
“过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前时间以前的文件。
/v1.1/{project_id}/clusters/{cluster_id}/action cdm:cluster:operate √ × 修改集群配置 POST /v1.1/{project_id}/cluster/modify/{cluster_id} cdm:cluster:modify
验一致性。 如果这里使用其它项目的KMS ID，则需要修改“项目ID”参数为KMS ID所属的项目ID；如果KMS ID与CDM在同一个项目下，“项目ID”参数保持默认即可。 使用KMS加密后，OBS上对象的加密状态不可以修改。 使用中的KMS密钥不可以删除，如果删除将导致加密对象不能下载。
迁移到目标表。 通过对比迁移失败的数据记录和成功的距离，怀疑是类型为boolean的字段导致的。 解决方案 将目标端boolean类型字段修改成string 后作业跑成功，因为客户源端boolean类型的字段有空值，从而导致迁移失败。 2.8.6版本CDM集群校验更严格，在处理b
S开关。 检查连接器配置，发现没有打开开关，参数含义是“是否支持OBS存储，如果Hive表数据存储在OBS，需要打开此开关”。 解决方案 修改连接配置，打开Hive连接中的OBS开关，重新输入密码。 父主题： 故障处理类
DM作业实际启动时间-偏移量”。 *.csv 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于等于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。
验一致性。 如果这里使用其它项目的KMS ID，则需要修改“项目ID”参数为KMS ID所属的项目ID；如果KMS ID与CDM在同一个项目下，“项目ID”参数保持默认即可。 使用KMS加密后，OBS上对象的加密状态不可以修改。 使用中的KMS密钥不可以删除，如果删除将导致加密对象不能下载。
启动时间-偏移量”。 *.csv,*.txt 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于等于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。
zip。 集群配置文件包含集群的配置参数。如果修改了集群的配置参数，需重新获取配置文件。 Keytab文件为认证凭据文件。获取Keytab文件前，需要在集群上至少修改过一次此用户的密码，否则下载获取的keytab文件可能无法使用。另外，修改用户密码后，之前导出的keytab将失效，需要重新导出。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
