检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 驱动版本 不同类型的关系数据库，需要适配不同的驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000
测量对象 监控周期（原始指标） bytes_in 网络流入速率 该指标用于统计每秒流入测量对象的网络流量。 单位：字节/秒。 ≥ 0 bytes/s CDM集群实例 1分钟 bytes_out 网络流出速率 该指标用于统计每秒流出测量对象的网络流量。 单位：字节/秒。 ≥ 0 bytes/s
取值样例 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 在数据治理中心（DataArts Studio）服务中，CDM作为其中的“数据集成
基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
Agent Agent功能待下线，无需配置。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JD
3597W行100列、6667W行100列和10000W行100列。 多并发抽取/写入速率，定义为分别取作业抽取并发数为1、10、20、30、50时，最大的抽取/写入速率。 数据源抽取写入性能实测数据 常见数据源的性能实测结果分别如表1和表2所示。 表1 读取性能实测数据 数据源
映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 图3 字段映射 如果字段映射关系不正确，用户可以通过拖拽字段来调整映射关系。 如果在字段映射界面，CDM通过获取样值的方式无
如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。
参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库，需要适配不同的驱动，更多详情请参见如何获取驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。
取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin
1:7300;192.168.0.2:7301 密码 连接Redis的密码。 - Redis数据库索引 Redis分库的索引标识。 Redis的分库，相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置，默认是16个，分库名称是一个整数（0～15），不是一个字符串。 0 认证类型
取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin
可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。
个数据迁移作业。您可以参考本教程，通过数据开发模块的For Each节点和CDM节点，配合作业参数，实现批量创建分表迁移作业。 本教程中，源端MySQL数据库中存在三张分表，分别是mail01、mail02和mail03，且表结构一致，数据内容不同。目的端为MRS Hive服务。
文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。
对象存储 对象存储服务（OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。
从源端复制字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts St
当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”，可能是由于源端发生主备倒换，源端出现网络波动等原因导致，建议作业配置失败后重试。 父主题： 故障处理类
创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错 问题描述 创建Mysql链接，确认过用户名、密码没有错，同样的配置，在roma上建立数据连接能成功。 故障分析 查看后端日志，考虑用户Mysql侧有白名单限制，测试内网相通的另一台ECS Mysql客户端使用这个用户链接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
