检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下表提供部分数据源端口情况，仅供参考。 表1 数据源使用端口概览 数据源 涉及端口 MySQL 3306 DWS 8000 PostgreSQL 5432 Oracle 1521 Kafka 非安全：9092/9094 安全：9093/9095 MRS Hudi MRS Hudi
单文件传输大小不超过1TB。 数据库迁移通用限制和约束 CDM以批量迁移为主，仅支持有限的数据库增量迁移，不支持数据库实时增量迁移，推荐使用数据复制服务（DRS）来实现数据库增量迁移到RDS。 CDM支持的数据库整库迁移，仅支持数据表迁移，不支持存储过程、触发器、函数、视图等数据库对象迁移。 C
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题： 数据集成（实时作业）
定义数据分类规则，名称必须唯一。 识别规则 分类类型选择“自定义”，呈现此参数，支持正则表达式。 正则表达式 内容识别：提供的数据识别方式之一，自定义正则表达式。 列名识别：提供字段名精确匹配和模糊匹配方式，支持多个字段匹配。 描述 对当前规则进行简单描述。 新建分组 在DataArts St
本例中为了方便演示，我们需要通过数据集成将CSV格式的样例数据导入到MySQL数据库中，之后MySQL数据库即作为案例场景中的原始数据源端。因此在数据导入中，需要在MySQL数据库中预先创建原始数据表。 正式业务流程中，MySQL数据库源端数据需要导入OBS数据库作为点数据集和边数据集，这种到OBS的数据
能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。
制及日志跟踪，提供所有密钥的使用记录，满足审计和合规性要求。 绑定Agent 是 DataArts无法直接与非全托管服务进行连接，需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务，请选择一个CDM集群，如果没有可用的CDM集群，请先通过数据集成增量包进行创建。
若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称，该数据库已创建好，建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 选择数据库名称，该数据库已创建好，建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。
名称：用户自定义连接名称，例如“oracle_link”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用户名、密码：Oracle数据库的登录用户名和密码，该用户需要拥有Oracle元数据的读取权限。 单击“保存”回到连接管理界面。
PostgreSQL到DWS参数调优 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型
在排除源端负载的情况下，如果源端是Mysql\Oracle\SqlServer\PostGres\OpenGauss等的全量+增量作业且作业处于全量抽取阶段，或者Kafka\hudi等数据源抽取速度慢，请优先尝试加大作业并发数，以提高作业的并发抽取速率。 Mysql\Oracle\SqlServer\Pos
sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名
在脚本开发导航栏，选择，右键单击数据连接名称，选择“新建数据库”，配置如表1所示的参数。 表1 新建数据库 参数 是否必选 说明 数据库名称 是 数据库的名称，命名要求如下： DLI：数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 DWS：数据库名称只能包含数字、英文字母和下
数据源与目的数据源之间的网络带宽 100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移，调研表的个数，最大表的规模 本示例不涉及，本示例需要从OBS文件迁移到数据库 了解数据库迁移的作业规模，了解最大表的迁移时间是否可接受 文件类迁移，文件的个数，有没有单文件超过TB级文件
字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1
字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1
表1 源端需要配置的作业参数 同步场景 源端需要配置参数 字段映射 单表 基本参数 高级属性 支持 分库分表 选择库表方式：精准匹配或正则匹配 高级属性 支持 整库迁移 添加源数据，选择需要迁移的库表 高级属性 不支持 配置目的端数据参数。 各数据源及各同步场景配置存在一定差
SQLServer到MRS Hudi参数调优 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
