准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的MgC Agent。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装MgC Agent主机的/etc/hosts文件中，配置连接才能连接成功。 在安装MgC Agent的主机上，打开/etc/hosts文件进行编辑。 在/etc/hosts文件中，为每个源端和目的端节点添加一行，格式如下： IP地址 主机名 例如，节点的IP地址是192.168.1.1，主机名是source-node-01，则添加： 192.168.1.1 source-node-01 完成所有映射的添加后，保存并关闭/etc/hosts文件。 为了确保配置正确，可以通过ping命令测试主机名解析是否成功。例如： ping source-node-01

配置SNAT转换规则 配置完SNAT转换规则后，如果E CS 重启，则需要重新配置。 登录购买的ECS主机。 依次执行下列两条命令： sysctl net.ipv4.ip_forward=1 该命令用于启用 Linux 主机上的 IP 转发功能。 iptables -t nat -A POSTROUTING -o eth0 -s { DLI 弹性资源池所在网段} -j SNAT --to {ECS私网IP} 设置iptables规则以进行 网络地址转换 。

创建OBS桶并上传jar包 在华为云OBS创建一个存储桶，并将数据迁移过程中所依赖的 Java 文件（jar包）上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的jar包分别为：migration-dli-spark-1.0.0.jar、fastjson-1.2.54.jar、datasource.jar。这三个jar包是数据迁移过程中不可或缺的，三个jar包的用途和获取方法如下： migration-dli-spark-1.0.0.jar 用途：用于创建spark会话并提交sql语句。 获取方法：在MgC Agent所部署主机的“/opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/dliSpark”路径下获取。 fastjson-1.2.54.jar： 用途：用于处理JSON格式的数据交换。 获取方法：在MgC Agent所部署主机的“/opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/deltaSpark”路径下获取。 datasource.jar： 用途：包含数据源的配置和连接逻辑，允许服务连接到不同的数据库或数据存储系统。 获取方法：需要您根据需求自行获取并编译，方法请参考Spark Connector。

购买ECS 购买ECS：在与目的端DLI同一区域（Region）下购买一台Linux系统的ECS主机，购买方法请参考购买弹性云服务器。其中网络配置选择上一步创建的虚拟私有云和子网。该ECS主机还需要满足以下条件： 可以访问外网（公网），并检查是否能够访问MgC和IoTDA服务的 域名 ，具体需要检查的域名请查看域名列表。 安全组的出方向规则中，需要包含8883端口。 操作系统为：CentOS 8.x。 推荐规格不小于8U16G。 创建并绑定EIP：ECS主机要实现访问外网，需要配置EIP（弹性公网IP）。如果主机已绑定EIP则跳过该操作无需重复绑定；如果未绑定EIP请参考申请EIP和将EIP绑定至ECS进行绑定。 计费模式：建议选择按需计费。 带宽大小：推荐5 Mbit/s。

配置委托权限与服务授权 为了确保正常使用DLI的功能，需要配置一条包含DLI权限和OBS权限的委托权限。 登录华为云管理控制台。 单击右上方登录的用户名，在下拉列表中选择“ 统一身份认证 ”。 在左侧导航栏中，单击“委托”。 在“委托”页面，单击“创建委托”。 在“创建委托”页面，设置如下参数： 委托名称：用户自定义，例如“dli_obs_agency_access”。 委托类型：选择“云服务”。 云服务：在下拉列表中选择“ 数据湖探索 DLI"。 持续时间：按实际需求选择。 描述：非必选。 配置完委托的基本信息后，单击“下一步”，进入选择策略页签。 单击右上角的“新建策略”，参考步骤8.和步骤9.，分别创建一条OBS策略和一条DLI策略。如果已创建的授权策略中有所需的权限策略，则无需创建，直接选择已有策略即可。 配置策略信息。 策略名称：用户自定义，例如：dli-obs-agency。 策略配置方式：选择“JSON视图”。 在策略内容中粘贴以下自定义策略。 请替换“bucketName”为存放jar包的桶名称。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "obs:bucket:GetBucketPolicy", "obs:bucket:GetLifecycleConfiguration", "obs:bucket:GetBucketLocation", "obs:bucket:ListBucketMultipartUploads", "obs:bucket:GetBucketLogging", "obs:object:GetObjectVersion", "obs:bucket:GetBucketStorage", "obs:bucket:GetBucketVersioning", "obs:object:GetObject", "obs:object:GetObjectVersionAcl", "obs:object:DeleteObject", "obs:object:ListMultipartUploadParts", "obs:bucket:HeadBucket", "obs:bucket:GetBucketAcl", "obs:bucket:GetBucketStoragePolicy", "obs:object:AbortMultipartUpload", "obs:object:DeleteObjectVersion", "obs:object:GetObjectAcl", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject" ], "Resource": [ "OBS:*:*:bucket:bucketName",//请替换bucketName为存放jar包的桶名称 "OBS:*:*:object:*" ] }, { "Effect": "Allow", "Action": [ "obs:bucket:ListAllMyBuckets" ] } ] } 配置DLI策略信息。 策略名称：用户自定义，例如：dli-agency。 策略配置方式：选择“JSON视图”。 在策略内容中粘贴以下自定义策略。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "dli:table:showPartitions", "dli:table:alterTableAddPartition", "dli:table:alterTableAddColumns", "dli:table:alterTableRenamePartition", "dli:table:delete", "dli:column:select", "dli:database:dropFunction", "dli:table:insertOverwriteTable", "dli:table:describeTable", "dli:database:explain", "dli:table:insertIntoTable", "dli:database:createDatabase", "dli:table:alterView", "dli:table:showCreateTable", "dli:table:alterTableRename", "dli:table:compaction", "dli:database:displayAllDatabases", "dli:database:dropDatabase", "dli:table:truncateTable", "dli:table:select", "dli:table:alterTableDropColumns", "dli:table:alterTableSetProperties", "dli:database:displayAllTables", "dli:database:createFunction", "dli:table:alterTableChangeColumn", "dli:database:describeFunction", "dli:table:showSegments", "dli:database:createView", "dli:database:createTable", "dli:table:showTableProperties", "dli:database:showFunctions", "dli:database:displayDatabase", "dli:table:alterTableRecoverPartition", "dli:table:dropTable", "dli:table:update", "dli:table:alterTableDropPartition" ] } ] } OBS和DLI自定义策略创建完成后，单击“下一步”，返回委托授权页面。 勾选新建的OBS和DLI自定义策略，单击“下一步”，授权范围方案选择“所有资源”。 单击“确定”，完成授权。授权后需等待15-30分钟才可生效。 参考更新委托权限，将DLI委托权限进行更新。

阿里云访问密钥（AK/SK）准备 准备一组源端阿里云账号的Access Key（AK）和Secret Key（SK），获取方法请参考查看 RAM 用户的AccessKey信息。 确保该AK/SK具备以下最小权限要求： 拥有OSS服务的只读权限：AliyunReadOnlyAccess 拥有MaxCompute服务的只读权限：AliyunMaxComputeReadOnlyAccess 配置权限的方法参考为RAM用户授权。 （可选）如果迁移的元数据存在分区表，需要为迁移账号开通Information Schema权限，方法请参考RAM用户访问授权。

安装MgC Agent（原Edge）并连接迁移中心 安装MgC Agent：在购买的ECS主机上，安装用于配合数据校验的MgC Agent，方法请参见安装Linux版本的MgC Agent。 注册MgC Agent用户：在浏览器中访问Linux主机的网卡IP地址+端口（27080），如：https://x.x.x.x:27080。首次访问后会进入注册页面，分别输入用户名、密码，确认密码无误后，单击《隐私政策声明》，仔细阅读后，勾选“我已阅读并同意”，最后单击“确认”即可完成注册。 连接迁移中心：安装并注册成功后，将MgC Agent与迁移中心进行连接，连接方法请参考连接迁移中心。 MgC Agent不具备自动重启功能，严禁在任务执行期间重启MgC Agent，以避免任务失败。

整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务（DWS） 支持 支持 - Hadoop （仅支持本地存储，不支持存算分离场景，不支持Ranger场景，不支持ZK开启SSL场景） MRS HBase 支持 支持 整库迁移仅支持导出到MRS HBase。 建议使用的版本： 2.1.X 1.3.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 MRS Hive 支持 支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Apache HBase 支持 不支持 建议使用的版本： 2.1.X 1.3.X Apache Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X MRS Hudi 支持 支持 支持本地存储、存算分离场景。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 关系数据库 云数据库 MySQL 支持 支持 不支持OLTP到OLTP迁移，此场景推荐通过 数据复制服务 DRS进行迁移。 云数据库 PostgreSQL 支持 支持 云数据库 SQL Server 支持 支持 MySQL 支持 不支持 PostgreSQL 支持 不支持 Microsoft SQL Server 支持 不支持 Oracle 支持 不支持 NoSQL 分布式缓存服务（DCS） 不支持 支持 仅支持MRS到DCS迁移。 公测中 表格存储服务 （CloudTable） 支持 支持 - FusionInsight HBase 支持 不支持 建议使用的版本： 2.1.X 1.3.X FusionInsight Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X SAP HANA 支持 不支持 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名，不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符（除SHORTTEXT） 类型的数据类型，不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 达梦数据库 DM 支持 不支持 仅支持导出到DWS、Hive 文档数据库服务（DDS） 支持 支持 仅支持DDS和MRS之间迁移。

表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS）， 数据湖 探索（DLI），MRS ClickHouse，Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储： 对象存储服务 （OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle 搜索：Elasticsearch 公测中： 云搜索服务 （ CSS ）， 表格存储 服务（CloudTable） 不支持DWS物理机纳管模式。 数据湖探索（DLI） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS ClickHouse，Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle NoSQL：MongoDB 搜索：Elasticsearch 公测中： 云搜索 服务（CSS），表格存储服务（CloudTable） MongoDB建议使用的版本：4.2。 用户需要具备DLI数据源所有字段的“查询表”权限，即SELECT权限。 MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21.3.4.X。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Doris 数据仓库：Doris 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Hadoop MRS HDFS 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 支持本地存储，仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本： 2.8.X 3.1.X MRS HBase建议使用的版本： 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 MRS HBase MRS Hive 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS Clickhouse、Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable），SAP HANA MRS Hudi 数据仓库：数据仓库服务（DWS） Hadoop：MRS HBase Apache HBase 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） Apache数据源不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本： 2.1.X 1.3.X Apache Hive暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X Apache HDFS建议使用的版本： 2.8.X 3.1.X Apache Hive Apache HDFS 对象存储 对象存储服务（OBS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 对象存储服务之间的迁移，推荐使用 对象存储迁移 服务 OMS 。 不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 搜索：Elasticsearch 对象存储：对象存储服务（OBS） 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件，不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具，请参见obsutil简介。 SFTP HTTP Hadoop：MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），Doris Hadoop：MRS HDFS，MRS HBase，MRS Hive，MRS Hudi 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable），SAP HANA OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 Microsoft SQL Server建议使用的版本：2005以上。 金仓和 GaussDB 数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库：数据仓库服务（DWS） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS） Hadoop：MRS HDFS，MRS HBase，MRS Hive，MRS Hudi 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） PostgreSQL Oracle Microsoft SQL Server 数据仓库：数据仓库服务（DWS） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） NoSQL 分布式缓存服务（DCS） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） NoSQL数据源不支持作为目的端。 Redis到DCS的迁移，可以通过其他方式进行，请参见自建Redis迁移至DCS。 Redis MongoDB 消息系统 数据接入服务 （DIS） 公测中：云搜索服务（CSS） 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch， 公测中：表格存储服务（CloudTable），云搜索服务（CSS） MRS Kafka不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 搜索 Elasticsearch 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） Elasticsearch仅支持非安全模式。 公测中 表格存储服务（CloudTable HBase） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） - 云搜索服务（CSS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 SAP HANA 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS Hive SAP HANA数据源存在如下约束： SAP HANA不支持作为目的端。 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名，不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符（除SHORTTEXT） 类型的数据类型，不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 FusionInsight HDFS 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） FusionInsight数据源不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本： 2.8.X 3.1.X FusionInsight HBase建议使用的版本： 2.1.X 1.3.X FusionInsight Hive建议使用的版本： 1.2.X 3.1.X FusionInsight HBase FusionInsight Hive 分库 分库数据仓库：数据湖探索（DLI） Hadoop：MRS HBase，MRS Hive 搜索：Elasticsearch 对象存储：对象存储服务（OBS） 公测中：云搜索服务（CSS） 分库数据源不支持作为目的端。 达梦数据库 DM 数据仓库：数据仓库服务（DWS） Hadoop：MRS Hive，MRS Hudi - 神通（ST） Hadoop：MRS Hive，MRS Hudi - 文档数据库服务（DDS） Hadoop：MRS HDFS，MRS HBase，MRS Hive - Cassandra 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） - GBASE8S Hadoop：MRS HDFS，MRS HBase 消息系统：MRS Kafka - GBASE8A Hadoop：MRS HDFS，MRS Hive，MRS HBase 消息系统：MRS Kafka - 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。

配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时，目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 通用配置 配置项 配置说明 推荐配置 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过 DataArts Studio 数据开发调度 CDM 迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 cdm 自动创表 是否自动创建Hudi表。 不自动创建：不自动建表。 不存在时创建：当目的端的数据库没有“表名”参数中指定的表时，CDM会自动创建该表。如果“表名”参数配置的表已存在，则不创建，数据写入到已存在的表中。 不自动创表 导入前清空数据 选择目的端表中数据的处理方式： 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。 否 全量模式写Hoodie 选择写Hoodie模式，默认选“是”表示全量模式，“否”表示微批模式。 全量模式为异步分片写入Hoodie，适用于一次全量写入场景。 微批模式为异步分批写入Hoodie，适用于对入库时间SLA要求较为严格的场景，以及对资源消耗较小，对MOR表存储类型在线进行压缩的场景。 说明： 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时，使用微批模式呈现此参数。 用于设置单个批次写Hoodie的数据行数，默认100000行。 100000 使用入库时间字段 将一个字段标记为入库时间字段，自动建表时将此字段自动加到建表语句中，写入Hudi时将把此字段的值替换为当前时间，不自动建表时选择已经存在的入库时间字段。 是 入库时间字段名称 “使用入库时间字段”设置为“是”时，呈现此参数。 用于记录写入Hudi的时间。 说明： 对于已存在目的端表中带有入库时间字段的，可以直接使用已有的timestamp类型字段。 对于自动建表的场景，该字段会被拼接到建表语句中，类型为timestamp，该字段名称不能与源端的字段有重复（包括自定义字段）。 cdc_last_update_date Hudi建表配置 Location 存储在OBS或HDFS上数据库表的文件路径。 - Hudi表类型 Hudi表存储类型。 MOR表：数据先写入avro格式的日志文件，读取时合并到parquet文件。 COW表：数据直接写入parquet文件。 MOR Hudi表主键 对Hudi建表设置主键，多个值以逗号隔开。 - Hudi表生成器类 主键生成类型，实现org.apache.hudi.keygen.KeyGenerator从传入记录中提取键值。 - Hudi表预聚合键 对Hudi建表设置预聚合键，当两个记录拥有相同的主键时，保留precombine字段值较大的记录。 说明： 如果没有时间字段，可以设置和主键一样的字段，当遇到主键冲突时，保留最新的记录。 ts Hudi表分区字段 对Hudi建表设置分区字段，多个值以逗号隔开。 - Hudi表压缩策略（是否开启写入压缩） 在线进行压缩，仅对MOR表生效。 是 Hudi表清除策略（保留提交数） 清除时保留的提交数。 1 Hudi表归档策略（最小保留提交数） 归档时保留的最小提交数。 1 Hudi表归档策略（最大保留提交数） 归档时保留的最大提交数。 100 Hudi表配置 对Hudi建表设置自定义参数属性，此处填入的参数将会在options中生效。例如：主键、combineKey、索引。 - 父主题： 配置CDM作业目的端参数

使用须知 mongoexport和mongoimport工具仅支持全量数据迁移。为保障数据一致性，迁移操作开始前请停止源数据库的相关业务，并停止数据写入。 建议您尽量选择在业务低峰期迁移数据，避免在迁移过程中对业务造成影响。 不支持迁移系统库admin和local。 确保源库中系统库admin和local没有创建业务集合，如果已经有业务集合，必须在迁移前将这些业务集合从admin和local库中迁移出来。 导入数据之前，确保源端有必要的索引，即在迁移前删除不需要的索引，创建好必要的索引。 如果选择迁移分片集群，必须在目标库创建好要分片的集合，并配置数据分片。同时，迁移前必须要创建好索引。

前提条件 准备弹性云服务器或可访问文档数据库的设备。 通过内网连接文档数据库实例，需要创建并登录弹性云服务器，请参见购买弹性云服务器和登录弹性云服务器。 通过公网地址连接文档数据库实例，需具备以下条件。 为实例中的节点绑定公网地址，如何绑定公网地址，请参见《文档数据库服务快速入门》通过公网连接实例下“绑定弹性公网IP”的内容。 保证本地设备可以访问文档数据库绑定的公网地址。 在已准备的弹性云服务器或可访问文档数据库的设备上，安装数据迁移工具。 安装数据迁移工具，请参见如何安装MongoDB客户端。 MongoDB客户端会自带mongoexport和mongoimport工具。

数据迁移方案 表2 数据迁移方案 源数据库 迁移工具 特点 操作指导 RDS for MySQL DRS 支持全部数据、库级或表级数据迁移 支持全量和增量数据迁移 业务中断最小化 适用任何数据量 将MySQL迁移到TaurusDB TaurusDB mysqldump 支持全量数据迁移 业务中断影响较大 适合小型数据量 使用mysqldump迁移TaurusDB数据 DAS 支持全量数据迁移 业务中断影响较大 适合中型数据量 使用DAS导出导入功能迁移TaurusDB数据 本地自建MySQL数据库 ECS自建MySQL数据库 DRS 支持全部数据、库级或表级数据迁移 支持全量和增量数据迁移 业务中断最小化 适用任何数据量 自建MySQL迁移到TaurusDB 其他云上MySQL数据库 DRS 支持全部数据、库级或表级数据迁移 支持全量和增量数据迁移 业务中断最小化 适用任何数据量 其他云MySQL迁移到TaurusDB

常用迁移工具介绍 表1 常用工具介绍 工具名称 工具介绍 计费说明 了解更多 DRS（推荐使用） DRS提供了实时迁移和实时同步功能，可以快速解决多场景下，数据库之间的数据流通问题，操作便捷、简单，仅需分钟级就能搭建完成迁移任务。通过服务化迁移，免去了传统的DBA人力成本和硬件成本，帮助您降低数据传输的成本。 按需计费。 具体的计费详情请参见计费说明。 什么是数据复制服务（DRS） mysqldump mysqldump是MySQL自带的一个命令行工具，用于备份和恢复MySQL数据库。 免费 什么是mysqldump DAS 当进行数据备份或迁移时，可以使用DAS的数据导出功能，获取完整的数据信息，再将数据从本地或者从OBS桶导入目标数据表。 免费 什么是数据管理服务（DAS）

步骤2：业务流量切换 在TaurusDB实例信息页面，等待迁移状态到达“增量迁移中”，并且复制时延小于60秒时，进行业务流量切换。 图8 观察迁移状态和复制时延 单击“业务流量切换”。 在弹框中，确认迁移实例信息，单击“是”。 在TaurusDB实例信息页面，查看实例状态为“RDS一键迁移|vip切换中”。 业务切换完成，可以看到源实例和目标实例的读写状态发生了改变，读写内网地址也变成了RDS for MySQL的内网地址，数据复制方向也发生了变化。 图9 迁移完成后的读写状态和复制方向 图10 迁移成功后的IP信息 如果不想使用TaurusDB实例，也可以进行迁移恢复。您可以单击“迁移恢复”，在弹框中，确认恢复信息，单击“是”。 图11 迁移恢复 图12 迁移恢复弹框 迁移恢复完成之后，迁移信息又恢复到了迁移之前的状态。 图13 迁移恢复后的读写状态和复制方向 图14 迁移恢复后的IP信息