检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM迁移作业的抽取并发数应该如何设置？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能
MongoDB连接 介绍 通过MongoDB连接，可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
后台排查sqoop日志，考虑源端数据类型格式问题导致异常。 分析源端数据类型，发现数据类型中有脏数据，源端数据类型有问题。 客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
DIS连接 介绍 通过DIS连接可以与DIS建立连接，并按照用户指定配置将DIS中的数据迁移到其他数据源。 连接样例 { "links": [ { "link-config-values": { "configs":
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题： 公共数据结构
用户已购买RDS数据库实例，该实例的数据库引擎为MySQL。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RD
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接，可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
FTP/SFTP连接 介绍 通过FTP或SFTP连接，可以对FTP或SFTP服务器抽取或加载文件，支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
CloudTable连接 介绍 通过CloudTable连接，可以对CloudTable服务抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 {
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 通用类
statement. Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中的数据长度。 父主题： 故障处理类
用户已购买RDS数据库实例，该实例的数据库引擎为MySQL。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RD
计费说明 本小节主要介绍云数据迁移的计费说明，包括计费项、计费方式等。 在您使用CDM的过程中，可能还会产生以下相关服务的费用，敬请知悉： OBS服务：数据迁移时，CDM可能会将脏数据写入到OBS服务中，则会产生对象存储服务费用，收费标准请参见OBS价格详情。 EIP服务：如果您
否 String 待抽取数据的数据源，作业源端为Hive时，这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库，例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名，例如“cdm”。
CloudTable OpenTSDB连接 介绍 通过OpenTSDB连接，可以从CloudTable OpenTSDB导入导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
Redis连接 介绍 通过Redis连接，可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [
作业运行过程中，任务异常中断，目标端已写入的部分数据不会清理，需手动清理。 单文件传输大小不超过1TB。 数据库迁移通用限制和约束 CDM以批量迁移为主，仅支持有限的数据库增量迁移，不支持数据库实时增量迁移，推荐使用数据复制服务（DRS）来实现数据库增量迁移到RDS。 CDM支持的数据库整库迁移，仅支持数据表迁移，不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
