计费方式 CDM 计费仅包含集群实例费用，提供按需计费和折扣套餐方式供您灵活选择，使用越久越便宜。 按需计费 这种购买方式比较灵活，可以即开即停，按实际使用时长计费。 按需计费只包含集群实例费用，不包含公网流量费用。 集群和具体的区域绑定，购买的集群只能在绑定的区域使用。 购买集群后会自动创建CDM集群，如果需要绑定EIP，用户需要前往集群管理界面自行为CDM集群绑定EIP。 按需计费方式下各实例的具体价格，请参见产品价格详情。 折扣套餐（按需资源包） 这种购买方式建立在按需计费的基础之上，是通过预付费购买一定时间期限内的使用量套餐。相对于按需计费更优惠，对于长期使用者，推荐该方式。 折扣套餐（按需资源包）购买后，系统不自动创建CDM集群，而是和具体的区域和实例规格绑定，在生效期内的每个计费月内按月提供745小时/月的使用时长，在绑定区域给对应实例规格的CDM集群使用。 如果当前绑定区域有1个或多个对应实例规格的CDM集群，则扣费方式是先扣除已购买资源包内的时长额度，超出部分以按需计费的方式进行结算（资源包对应多个集群时，会出现每月订购周期内可使用时长不足的情况）。 例如购买了1个月的折扣套餐（745小时/月），按区域和实例规格匹配到两个CDM集群后，从当前开始的1个月订购有效期内，两个集群同时使用只能使用745/2=372.5小时，约15.5天，剩余时间内两个集群按照按需计费的方式结算费用。 如果当前绑定区域没有对应实例规格的CDM集群，购买折扣套餐后不会消耗所购买的时长；但在生效期内，若未使用CDM集群，折扣套餐也不会延期。建议您先安排好服务使用计划，再购买折扣套餐。 如果您希望享受折扣套餐的优惠价格，需要先购买一个“折扣套餐”，再购买一个和“折扣套餐”具有相同区域和规格的“按需计费”集群。 如果您先购买一个“按需计费”集群，再购买一个相同区域和规格的“折扣套餐”，则在购买折扣套餐之前已经产生的费用按“按需计费”计费，购买折扣套餐之后的费用按“折扣套餐”计费。 各折扣套餐包在不同规格下的具体价格，请参见产品价格详情。

退订 CDM服务运行期间，删除集群则不再按需计费；折扣套餐当前不支持退订。 删除CDM集群后无法恢复，一旦删除则不再按需计费或扣除折扣套餐时长，详情请参见删除集群。 折扣套餐为按需资源包，当前不支持退订，具体详情可查看不可退订。 另外在删除集群或退订CDM后，对于在CDM使用过程中可能会产生费用的以下相关服务，请分别退订其资源，避免其依然计费。 OBS服务：数据迁移时，CDM可能会将脏数据写入到OBS服务中，则会产生 对象存储服务 费用，收费标准请参见OBS价格详情。 EIP服务：如果您为CDM集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。

整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在E CS 上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务（DWS） 支持 支持 - Hadoop （仅支持本地存储，不支持存算分离场景，不支持Ranger场景，不支持ZK开启SSL场景） MRS HBase 支持 支持 整库迁移仅支持导出到MRS HBase。 建议使用的版本： 2.1.X 1.3.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 MRS Hive 支持 支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Apache HBase 支持 不支持 建议使用的版本： 2.1.X 1.3.X Apache Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X MRS Hudi 支持 支持 支持本地存储、存算分离场景。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 关系数据库 云数据库 MySQL 支持 支持 不支持OLTP到OLTP迁移，此场景推荐通过 数据复制服务 DRS进行迁移。 云数据库 PostgreSQL 支持 支持 云数据库 SQL Server 支持 支持 MySQL 支持 不支持 PostgreSQL 支持 不支持 Microsoft SQL Server 支持 不支持 Oracle 支持 不支持 NoSQL 分布式缓存服务（DCS） 不支持 支持 仅支持MRS到DCS迁移。 公测中 表格存储服务 （CloudTable） 支持 支持 - FusionInsight HBase 支持 不支持 建议使用的版本： 2.1.X 1.3.X FusionInsight Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X SAP HANA 支持 不支持 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名，不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符（除SHORTTEXT） 类型的数据类型，不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 达梦数据库 DM 支持 不支持 仅支持导出到DWS、Hive 文档数据库服务（DDS） 支持 支持 仅支持DDS和MRS之间迁移。

表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS）， 数据湖探索 （ DLI ），MRS ClickHouse，Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle 搜索：Elasticsearch 公测中： 云搜索服务 （ CSS ）， 表格存储 服务（CloudTable） 不支持DWS物理机纳管模式。 数据湖 探索（DLI） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse，Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle NoSQL：MongoDB 搜索：Elasticsearch 公测中： 云搜索 服务（CSS），表格存储服务（CloudTable） MongoDB建议使用的版本：4.2。 用户需要具备DLI数据源所有字段的“查询表”权限，即SELECT权限。 MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21.3.4.X。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Doris 数据仓库：Doris 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Hadoop MRS HDFS 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 支持本地存储，仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本： 2.8.X 3.1.X MRS HBase建议使用的版本： 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 MRS HBase MRS Hive 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS Clickhouse、Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable），SAP HANA MRS Hudi 数据仓库：数据仓库服务（DWS） Hadoop：MRS HBase Apache HBase 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） Apache数据源不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本： 2.1.X 1.3.X Apache Hive暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X Apache HDFS建议使用的版本： 2.8.X 3.1.X Apache Hive Apache HDFS 对象存储 对象存储服务（OBS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 对象存储服务之间的迁移，推荐使用 对象存储迁移 服务 OMS 。 不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 搜索：Elasticsearch 对象存储：对象存储服务（OBS） 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件，不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具，请参见obsutil简介。 SFTP HTTP Hadoop：MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive，MRS Hudi 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable），SAP HANA OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 Microsoft SQL Server建议使用的版本：2005以上。 金仓和 GaussDB 数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库：数据仓库服务（DWS） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS） Hadoop：MRS HDFS，MRS HBase，MRS Hive，MRS Hudi 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） PostgreSQL Oracle Microsoft SQL Server 数据仓库：数据仓库服务（DWS） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） NoSQL 分布式缓存服务（DCS） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） NoSQL数据源不支持作为目的端。 Redis到DCS的迁移，可以通过其他方式进行，请参见自建Redis迁移至DCS。 Redis MongoDB 消息系统 数据接入服务 （DIS） 公测中：云搜索服务（CSS） 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch， 公测中：表格存储服务（CloudTable），云搜索服务（CSS） MRS Kafka不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 搜索 Elasticsearch 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） Elasticsearch仅支持非安全模式。 公测中 表格存储服务（CloudTable HBase） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） - 云搜索服务（CSS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 SAP HANA 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS Hive SAP HANA数据源存在如下约束： SAP HANA不支持作为目的端。 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名，不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符（除SHORTTEXT） 类型的数据类型，不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 FusionInsight HDFS 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） FusionInsight数据源不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本： 2.8.X 3.1.X FusionInsight HBase建议使用的版本： 2.1.X 1.3.X FusionInsight Hive建议使用的版本： 1.2.X 3.1.X FusionInsight HBase FusionInsight Hive 分库 分库数据仓库：数据湖探索（DLI） Hadoop：MRS HBase，MRS Hive 搜索：Elasticsearch 对象存储：对象存储服务（OBS） 公测中：云搜索服务（CSS） 分库数据源不支持作为目的端。 达梦数据库 DM 数据仓库：数据仓库服务（DWS） Hadoop：MRS Hive，MRS Hudi - 神通（ST） Hadoop：MRS Hive，MRS Hudi - 文档数据库服务（DDS） Hadoop：MRS HDFS，MRS HBase，MRS Hive - Cassandra 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） - GBASE8S Hadoop：MRS HDFS，MRS HBase 消息系统：MRS Kafka - GBASE8A Hadoop：MRS HDFS，MRS Hive，MRS HBase 消息系统：MRS Kafka - 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。

故障分析 排查客户CDM昨天日志报错发现报错：2021-09-29 10:35:32,638 ERROR LocalJobRunner Map Task #13 #loader [org.apache.sqoop.connector.hive.hiveWriter.HiveOrcWriter:83] Create file system error. java.nio.file.AccessDeniedException: obs-itotshujuruhu-bingxing-fangcongyang: doesBucketExist on obs-itotshujuruhu-bingxing-fangcongyang: com.obs.services.exception.ObsException: Error message:Request Error.OBS servcie Error Message. -- ResponseCode: 403 根据报错“hiveWriter.HiveOrcWriter:83] Create file system error”以及“Error.OBS servcie Error Message. -- ResponseCode: 403”考虑是Hive同步表到OBS目录报错。用户配置连接器时候，没有打开OBS开关。 检查连接器配置，发现没有打开开关，参数含义是“是否支持OBS存储，如果Hive表数据存储在OBS，需要打开此开关”。

问题描述 数据库中存储的是1或0，但没有true和false的数据，但MySQL迁移时读取到的是true或false，提示报错信息：Unable to execute the SQL statement. Cause: ERROR: invalid input syntax for integer: "true" Where: COPY sd_mask_ext, line 1, column mask_type.

解决方案 优先联系DBA修改表结构，将需要过滤的列配置为索引列，然后重试。 如果由于数据不离散，导致还是失败请参考2~4，通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称，查找连接信息。 图2 连接信息 单击“连接管理”，在“操作”列中，单击“连接”进行编辑。 图3 连接 打开高级属性，在“连接属性”中建议新增“connectTimeout”与“socketTimeout”参数及参数值，单击“保存”。 图4 编辑高级属性

CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同华为云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到华为云服务，具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。 图1 CDM迁移原理

安全边界和风险规避 图2 风险规避 如上图所示，CDM可能存在以下威胁： 互联网威胁：恶意用户可能通过CDM控制台攻击CDM。 数据中心威胁：恶意CDM管理员获取用户的数据源访问信息（用户名和密码）。 恶意用户威胁：恶意用户窃取其他用户的数据。 数据暴露公网：从公网迁移数据时暴露数据的威胁。 对于这些潜在的威胁，CDM提供以下机制来规避终端用户的风险： 针对互联网威胁：用户不能直接通过公网登录CDM控制台。CDM提供双层安全保障机制。 华为云控制台框架要求用户访问任何控制台页面都要进行用户认证。 Web应用防火墙 （Web Application Firewall，简称WAF）过滤所有控制台的请求内容并停止请求攻击代码/内容。 针对数据中心威胁：用户必须向CDM系统提供迁移源端和目的端的访问用户名和密码信息，才能完成数据迁移。避免CDM管理员获取此类信息并攻击用户的重要数据源对于CDM非常重要，CDM为此类信息提供三级保护机制。 CDM在本地数据库中存储经过AES-256加密的密码，确保用户隔离。本地数据库使用用户Ruby运行，数据库仅侦听127.0.0.1，用户没有远程访问数据库的权限。 用户实例发放完毕后，CDM将虚拟机的root和Ruby用户密码更改为随机密码且不会保存在任何地方，以阻止CDM管理员访问用户实例和含有密码信息的数据库。 CDM实例迁移以推拉模式进行，因此CDM实例在VPC上没有侦听端口，用户无法从VPC访问本地数据库或操作系统。 针对恶意用户的威胁：CDM对每个用户，使用单独的虚拟机来运行各自的CDM实例，用户之间的实例是完全隔离和安全的。恶意用户无法访问其他用户的实例。 针对数据暴露公网的威胁：CDM的抽取-写入模型下，即使CDM绑定了弹性IP，也不会开放端口到弹性IP，攻击者无法通过弹性IP来访问和攻击CDM。不过从公网迁移数据的方式下，由于用户数据源也会暴露在公网，存在被第三方攻击的威胁，推荐用户在数据源服务器上通过ACL或防火墙对源端进行防护，比如仅放通来自CDM绑定的弹性IP的访问请求。

CDM简介 云数据迁移 （Cloud Data Migration，简称CDM）提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持多种常用数据源，如客户自建或公有云上的文件系统，关系数据库，数据仓库，NoSQL数据库，大数据云服务，对象存储等数据源。 CDM适用于以下场景： 数据上云：使用华为公有云服务时，用户可以将其历史数据或增量数据从私有云/本地数据中心/第三方公有云迁移到华为云。 云服务间数据交换：用户可以在华为云的大数据服务、数据库服务、对象存储服务之间相互迁移数据。例如，可以将由 MapReduce服务 （MapReduce Service，简称MRS）处理的数据导入到数据仓库服务（Data Warehouse Service，简称DWS），进行交互式分析和报告统计收集。 云上数据回迁到本地：用户在使用公有云计算资源对海量数据进行处理后，将结果数据回流到本地业务系统，主要是各种关系型数据库和文件系统。

入门实践 当您参考创建集群、创建连接等一系列操作后，可以根据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移，本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。本最佳实践介绍通过数据开发使用参数传递功能灵活调度CDM作业。 增量迁移 文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 案例 案例：贸易数据统计与分析 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务，持续创新。 案例：车联网大数据业务上云 为搭建H公司车联网业务集团级的云管理平台，统一管理、部署硬件资源和通用类软件资源，实现IT应用全面服务化、云化，CDM（Cloud Data Migration，简称CDM）助力H公司做到代码“0”改动、数据“0”丢失迁移上云。

操作步骤 进入购买云数据迁移服务界面。 创建CDM集群配置样例如下： 当前区域：选择CDM集群的区域，不同区域的资源之间内网不互通，这里必须选择与MySQ L实例 或DWS集群所在区域一致。 可用区：指在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。这里任选一个即可。 集群名称：集群名称在4位到64位之间，必须以字母开头，可以包含字母、数字、中划线或者下划线，不能包含其他的特殊字符，例如：“cdm-aff1”。 实例类型：用户按实际业务数据量选择实例规格。 cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适合使用10GE高速带宽进行TB级以上的数据量迁移。 cdm.4xlarge：4倍超大规格，64核CPU、128G内存的虚拟机，最大带宽/基准带宽为40/36 Gbps，集群作业并发数上限为128。 虚拟私有云：即VPC（Virtual Private Cloud），这里选择与MySQL实例或DWS集群相同的VPC。 子网：用户按实际业务选择集群所属子网。 推荐与MySQL实例或DWS集群的子网一致。 推荐选择已选择可用区下的子网，任意选择子网创建可能会创建失败。 安全组：推荐与MySQL实例或DWS集群的安全组一致。 企业项目：如果已经创建了企业项目，这里才可以选择。必须与MySQL实例或DWS集群的企业项目一致。 其它参数保持默认即可。 图1 创建集群1 图2 创建集群2 查看当前配置，确认无误后单击“立即购买”进入规格确认界面。 集群创建好以后不支持修改规格，如果需要使用更高规格，需要重新创建。 单击“提交”，系统开始自动创建CDM集群，在“集群管理”界面可查看创建进度。

操作场景 创建CDM集群，用于执行MySQL数据同步到DWS的任务。 当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时，可保证CDM集群与其他云服务内网互通，无需专门打通网络。 当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时，需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时，可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注：如果配置了VPC对等连接，可能会出现对端VPC子网与CDM管理网重叠，从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移，或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 另外，如果创建了企业项目，则企业项目也会影响CDM集群与其他云服务的网络互通，只有企业项目一致的云服务才能打通网络。

文件/路径过滤器 参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业参数的高级属性中可以看到“过滤类型”参数，该参数可选择：通配符或正则表达式。 参数原理：“过滤类型”选择“通配符”时，CDM就可以通过用户配置的通配符过滤文件或路径，CDM只迁移满足指定条件的文件或路径。 配置样例： 例如源端文件名带有时间字段“2017-10-15 20:25:26”，这个时刻生成的文件为“/opt/data/file_20171015202526.data”，则在创建作业时，参数配置如下： 过滤类型：选择“通配符”。 文件过滤器：配置为“*${dateformat(yyyyMMdd,-1,DAY)}*”（这是CDM支持的日期宏变量格式，详见时间宏变量使用解析）。 图1 文件过滤 配置作业定时自动执行，“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录，实现增量同步。 文件增量迁移场景下，“路径过滤器”的使用方法同“文件过滤器”一样，需要路径名称里带有时间字段，这样可以定期增量同步指定目录下的所有文件。

AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。 源端支持的数据源：HDFS（使用二进制格式传输时支持）。 目的端支持的数据源：HDFS（使用二进制格式传输时支持）。 下面分别以HDFS导出加密文件时解密、导入文件到HDFS时加密为例，介绍AES-256-GCM加解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密 密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。 初始化向量：这里的初始化向量必须与加密时配置的初始化向量一致，否则解密出来的数据会错误，且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时，写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时，目的端数据源选择HDFS、文件格式选择二进制格式后，在“目的端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：用户自定义密钥，密钥由长度64的十六进制数组成，不区分大小写但必须64位，例如“DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B”。 初始化向量：用户自定义初始化向量，初始化向量由长度32的十六进制数组成，不区分大小写但必须32位，例如“5C91687BA886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到HDFS时，目的端HDFS上的文件便是经过AES-256-GCM算法加密后的文件。