检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果在字段映射界面，CDM通过获取样值的方式无法获得所有列（例如从HBase/CloudTable/MongoDB导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。
指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 10000 SSL加密 可选参数，控制是否通过SSL加密方式连接数据库，创建云数据MySQL连接时显示该参数。
- 密钥（SK） - OBS测试路径 “OBS支持”设置为“是”时，呈现此参数。 请填写完整的文件路径，将调用元数据查询接口来校验路径的访问权限。 说明： 如果是对象存储，路径需要填写到对象级别，否则会报错404，例如：“obs://bucket/dir/test.txt”。
连接器 连接器是CDM内置的连接某种数据源所需的对象模板，目前CDM支持连接OBS、MRS、数据库等多种连接器，并可扩展增加新的连接器。 连接 连接是用户基于连接器创建的用于连接某个具体数据源的对象。
如果Elasticsearch服务器是在本地数据中心或第三方云上，需要确保Elasticsearch可通过公网IP访问，或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。
父主题： 使用CDM上传数据到OBS
是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。
是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。
源端： 目的端： 故障分析 根据截图可以看出，源端样值中有符号：{ 括号 ”引号，等特殊符号，jdbc驱动会字段转义，导致目的端显示带有转义符号。 DLI外表及OBS桶存储，及文件到表迁移，可以考虑源端作业配置加上包围符号即可，包围符双引号“，单个双引号。
如果Elasticsearch服务器是在本地数据中心或第三方云上，需要确保Elasticsearch可通过公网IP访问，或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。
Hudi目的端的作业失败，日志报错Read Timeout怎么解决？ 问题描述： 作业日志报错Read time out，日志如下： 原因分析 确认MRS集群的JdbcServer是多实例模式还是多租模式。 如果是多实例模式，跳转3。 否则跳转2。
如果Oracle数据库是在本地数据中心或第三方云上，需要确保Oracle可通过公网IP访问，或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面，上传了Oracle数据库驱动。
需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。
原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中的数据长度。 父主题： 故障处理类
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？ 问题描述 报错：hoodie table path not found。 报错：写入记录中存在空值，写入失败。 报错：killed by external signal。
如果Oracle数据库是在本地数据中心或第三方云上，需要确保Oracle可通过公网IP访问，或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面，上传了Oracle数据库驱动。
支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 您可以使用本文档提供的API对云数据迁移服务进行操作，如创建集群、创建迁移任务等，支持的全部操作请参见API概览。
通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？ 问题描述 客户通过CDM从OBS迁移到DLI ，使用两个集群分别迁移，源端和目标端以及作业配置都一样，2.6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 故障处理类
MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
