检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MongoDB/DDS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 选择待迁移的数据库。 mongodb 集合名称 相当于关系数据库的表名。单击输入框后面的按钮可进入选择集合名的界面，用户也可以直接输入集合名称。 如果选择界面没有待选择的表，请确认表是否已经创
不存在时创建：当目的端的数据库没有“表名”参数中指定的表时，CDM会自动创建该表。如果“表名”参数配置的表已存在，则不创建，数据写入到已存在的表中。 不自动创表 导入前清空数据 选择目的端表中数据的处理方式： 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否
出来的数据会错误，且系统不会提示异常。 初始化向量：这里的初始化向量必须与加密时配置的初始化向量一致，否则解密出来的数据会错误，且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时，写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业
ize的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id，超时或者scroll查询结束后会清除请求的srcoll_id，通过设置这个超时时间配置，来指定scroll_id超时时间。 5 父主题： 配置CDM作业源端参数
配置DDS目的端参数 作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的
配置Redis目的端参数 当作业将数据导入到Redis时，目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。
抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 说明： 该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如：
报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？ 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项
MRS ClickHouse作为目的端时的作业参数 参数名 说明 取值样例 模式或表空间 单击输入框后面的按钮可选择模式或表空间。 schema 表名 输入或选择写入数据的目标表名。 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时，选择需要进行的插入行为操作。 新增：将文件记录直接插入指定的集合。
自动创建该表。如果“表名”参数配置的表已存在，则不创建，数据写入到已存在的表中。 先删除后创建：CDM先删除“表名”参数中指定的表，然后再重新创建该表。 不自动创建 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以
0及之后版本，则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接；如果需要对MRS组件的库、表、列进行操作，还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本，或MRS集群为3.1.0之前的版本，则所创建的用户需要具备Manager_adm
用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 父主题： 配置连接参数
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
cheme概念。CDM字段映射取的是第一条的json key。CDM支持combine()函数，可以把非公共的列封装为一个列。 解决方案 使用MongoDB Reader插件读出数据时，combine()支持合并MongoDB document中的多个字段为一个JSON串（多个字
Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 产品首页 图说ECS 立即使用 立即使用
可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 - 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connec
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。
Agent功能待下线，无需配置。 - 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
