检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（可选）在标签列表中，单击标签操作列“删除”，删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所配置标签的资源。 在集群列表中，单击标签搜索，筛选出所配置标签的资源。 父主题： 创建并管理CDM集群
滤，但并非索引列，或列值不离散，查询会全表扫描，导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构，将需要过滤的列配置为索引列，然后重试。 如果由于数据不离散，导致还是失败请参考2~4，通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称，查找连接信息。
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
编辑作业JSON：选择作业操作列的“更多 > 编辑作业JSON”，可直接编辑该作业的JSON文件，作用等同于修改作业的参数配置。 配置定时任务：选择作业操作列的“更多 > 配置定时任务”，可选择在有效期内周期性启动作业，具体请参考配置CDM作业定时任务。 日志：选择作业操作列的“更多 > 日志”，可查看该作业最近的一次日志。
name String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id Integer 配置ID，由系统生成，用户无需填写。 type String 配置类型，由系统生成
行失败怎么处理？ 问题描述 读Hudi作业字段映射多了一列col，作业执行失败。 原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。 解决方案 字段映射中删去此列，如果是自动建表，SQL中也要把此列删去。
将二进制文件先写入到临时文件（临时文件以“.tmp”作为后缀），迁移成功后，再进行rename或move操作，在目的端恢复文件。 toJobConfig.duplicateFileOpType 否 枚举 重复文件处理方式，只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式：
化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。 更新配置 CDM云服务通过版本更新升级更新配置。 父主题： 安全
08:08:08.666 +0800”。 图2 作业配置 此时，从其他数据源导入数据到云搜索服务时，如果源端数据中的日期格式不完全满足标准格式，例如“2018/01/05 15:15:46”，则CDM作业会执行失败，日志提示无法解析日期格式。需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。
string："false"。 故障分析 根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步，字段映射界面，查看对应关系。 根据上一步字段映射分析，其中"support_gpu_instancing"字段源端为TINYINT
迁移任务报错表名太长，但表名实际没有这么长。 原因分析 在任务迁移时，导入数据前会先创建一个实际表名+阶段表后缀的阶段表，最终导致的作业异常。 解决方案 在作业配置高级属性将导入阶段表设置为否，这样就不会先导入阶段表。 缩短实际表的表名长度。 父主题： 故障处理类
String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID，由系统生成，用户无需填写。 type 否 String 配置类型，由系统
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID，由系统生成，用户无需填写。 type 否 String 配置类型，由系统
String 配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID，由系统生成，用户无需填写。 type 否 String 配置类型，由系统
批量创建作业任务：可以先手工创建一个作业，导出作业配置（导出的文件为JSON格式），然后参考该作业配置，在JSON文件中批量复制出更多作业，最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表，提供以下批量操作：
linkConfig.user 否 String 登录Manager平台的用户名，使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码，使用集群配置时不用配置 linkConfig.authType 否 枚举 认证类型，分为以下两种：
迁移数据到DLI时有数据丢失怎么处理？ 问题描述 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。 原因分析 查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1 ，重跑作业问题解决。
关键操作指导 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍
后台排查sqoop日志，考虑源端数据类型格式问题导致异常。 分析源端数据类型，发现数据类型中有脏数据，源端数据类型有问题。 客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
