检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义，当前
本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。 图1 大数据迁移上云 数据批量入湖
DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail
Elasticsearch连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名，包括端口号，格式为“ip:port”，多个地址之间使用“;”分隔。
简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 在数据治理中心（DataArts Studio）服务中，CDM作为其中的“数据集
在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义，当前
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306
增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式，只对数据表追加写入，不会更新或删除已存在的记录。
增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式，只对数据表追加写入，不会更新或删除已存在的记录。
8123 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数，支持通过SSL加密方式连接数据库，暂不支持自建的数据库。 否 引用符号 可选参
导入前清空数据 选择目的端表中数据的处理方式。 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。 是 换行符处理方式 对于写入Hive textfile格式表的数据中存在换行符的场景，指定对换行符的处理策略。 删除 替换为其他字符串
Migration，简称CDM）是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数
isNumeric(value) 获取字符串最左端的指定长度的字符，例如获取“abc”最左端的2位字符“ab”。 表达式：StringUtils.left(value,2) 获取字符串最右端的指定长度的字符，例如获取“abc”最右端的2位字符“bc”。 表达式：StringUtils
isNumeric(value) 获取字符串最左端的指定长度的字符，例如获取“abc”最左端的2位字符“ab”。 表达式：StringUtils.left(value,2) 获取字符串最右端的指定长度的字符，例如获取“abc”最右端的2位字符“bc”。 表达式：StringUtils
Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源
更换用户，密码不会立即生效且作业会运行失败。 表1 MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP
MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接M
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306
触发时间（天）：选择每月的几号执行作业，该参数值取值范围是“1～31”，可配置多个值但不可重复，中间使用“,”分隔。 有效期：分为开始时间和结束时间。 开始时间：表示定时配置生效的时间。其中的时、分、秒也是每次自动执行的时间。 结束时间：该参数为可选参数，表示停止自动执行定时任务的时间。如果没有配置，则表示一直自动执行。
会变化的数据，需要使用快照保证数据不变，然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移的方式无法使用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
