检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 通用类
DIS连接 介绍 通过DIS连接可以与DIS建立连接，并按照用户指定配置将DIS中的数据迁移到其他数据源。 连接样例 { "links": [ { "link-config-values": { "configs":
提升迁移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业，又需要作为DataArts Studio管理中心连接代理时，建议各配置至少一个CDM集群。 待迁移任务库表较多，迁移量较大。此时可以使用多个CDM集群同时作业，提升迁移效率。 当前C
CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？ 问题描述 作业管理页面访问不了，提示“网络或服务器异常，请重试”的报错。 解决方案 F12看下接口返回都正常。 查看CDM集群各项指标是否正常：如磁盘、内存、CPU。 如果CDM集群以上指标都正常，用户侧清理浏览器缓存之后重新单击作业管理即可。
找到所需要的工作空间，单击工作空间的“数据集成”，系统跳转至数据集成页面。 单击CDM集群“操作”列的“作业管理”，进入作业管理界面。 单击“连接管理->驱动管理”，参考管理驱动，上传MySQL数据库驱动。 选择“连接管理 > 新建连接”，新建MySQL连接。连接器类型选择“MySQL”，然后单击“下一步
8版本，获取gbasedbtjdbc_3.5.1_3X1_3.jar 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理 > 驱动管理”，进入驱动管理页面上传驱动。 图1 上传驱动 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容，手动配置库和表后字段可以显示，但报错hive 客户端初始化失败，无效的方案： get_table_req。 解决方案 用户的MRS集群是1.8.1，CDM为2.6.0。 报错看CDM封装的Hive
密。如果启用KMS加密则无法进行数据的MD5校验。 toJobConfig.kmsID 否 String 上传时加密使用的密钥。需先在密钥管理服务中创建密钥。 toJobConfig.projectID 否 String KMS密钥所属的项目ID。 toJobConfig.writeToTempFile
di表。 对于MOR表来说，删表需要把ro与rt表也同时删除。否则会出现schema残留的问题。 删除空值后重跑作业。 具体办法： 在作业管理界面选择“更多-失败重试”，尝试重新执行Spark SQL。 通过DataArts Studio执行Spark SQL，设置执行参数或者调整SQL。
一个作业类型，支持跨集群下发数据集成作业，实现常用的批作业迁移能力。 相比于传统的依靠CDM集群进行生命周期管理CDM迁移作业，离线集成作业依靠数据开发组件的生命周期管理，由数据开发进行集成作业的统一调度和CDM集群资源的统一支配，作业运行可靠性更高、使用体验更佳，推荐您使用离线
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。
源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
参考：作业分片维度 CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 故障处理类
通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？ 问题描述 客户通过CDM从OBS迁移到DLI ，使用两个集群分别迁移，源端和目标端以及作业配置都一样，2.6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。 原因分析
、写和删除权限。 已参考管理驱动，上传了MySQL数据库驱动。 创建MySQL连接 进入CDM主界面，单击左侧导航上的“集群管理”，找到步骤1：创建集群章节创建的集群“cdm-aff1”。 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面，如图1所示。
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
当前用户没有操作权限，请通过IAM检查账户权限！ 用户权限不足 在CDM控制台操作时，请参考CDM权限管理为该用户授予足够的操作权限。 在DataArts Studio控制台操作时，请参考DataArts Studio权限管理为该用户授予足够的操作权限。 Cdm.0036 400 内部错误。 内部错误。
是否支持同步作业到其他集群？ 问题描述 CDM是否支持同步作业到其他集群？ 解决方案 CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下： 将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。 由
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
