检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询并显示作业执行的历史状态。 120次/min 删除作业 删除指定作业。 120次/min 使用API注意事项 CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。
"inputs": [ { "name": "fromJobConfig.database", "value": "cdm" }, {
高级属性里的可选参数保持默认。 目的连接名称：选择创建DLI连接中的“dlilink”。 资源队列：选择目的表所属的资源队列。 数据库名称：写入数据的数据库名称。 表名：写入数据的目的表。CDM暂不支持在DLI中自动创表，这里的表需要先在DLI中创建好，且该表的字段类型和格式，建议与待迁移数据的字段类型、格式保持一致。
参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将目的表回滚到作业开始之前的状态。
参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将目的表回滚到作业开始之前的状态。
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 父主题： 关键操作指导
作业配置添加字段，MongoDB字段映射存在问题 问题描述 CDM作业配置源端MongoDB添加字段，目的端MongoDB数据库字段映射，作业运行后，目的端数据库查看，数据存在问题，没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段，因为Mo
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
Hudi目的端的作业失败，日志报错Read Timeout怎么解决？ 问题描述： 作业日志报错Read time out，日志如下： 原因分析 确认MRS集群的JdbcServer是多实例模式还是多租模式。 如果是多实例模式，跳转3。 否则跳转2。 多租户模式下，确认其他租户的作业是否正常。
待写入数据的Elasticsearch的索引，类似关系数据库中的数据库名称。CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 index 类型 待写入数据的Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。 说明：
Hudi源端的作业长时间处于BOOTING状态怎么解决？ 问题描述 在Hudi源端读Hudi作业长时间处于BOOTING状态。 原因分析 除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。
概述 欢迎使用云数据迁移（Cloud Data Migration，以下简称CDM），该服务提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 您可以使用本文档提供的API
完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 通用类
BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String Redis数据库索引。 父主题： 连接参数说明
记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。
性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。
日志”来查看该作业最近的一次日志。 查看作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置。 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口，预览最多1000条数据内容。可对比源端和目的端的数据，也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数
当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？ 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败。 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
