检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择连接器类型 选择“云数据库 MySQL”后单击“下一步”，配置云数据库 MySQL连接的参数。 图4 创建MySQL连接 单击“显示高级属性”可查看更多可选参数，具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名
大值限定的数据范围，将作业拆分为多少个子作业执行。 - 按表分区抽取 从MySQL导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dba_tab_partit
Date类型值是否保留一位精度 Date类型值是否保留一位精度。 否 按表分区抽取 从MySQL导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dba_tab_partit
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务，以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。
日期和时间模式 EL表达式中的日期和时间可以按用户指定的格式进行显示，日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成，字母的含义如表1所示。 表1 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July
名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
移到RDS上的MySQL数据库（云数据库 MySQL）为例进行介绍，使用流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建RDS连接 创建整库迁移作业 前提条件 用户拥有EIP配额。 用户已购买RDS数据库实例，该实例的数据库引擎为MySQL。 本地MySQL数据库
MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ 问题描述 1. 运行migration mysql2dws链路的实时同步作业，DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下，源端MySQL执行DDL语句，添加带非空约束的列，默认值为空字符串，如：alter
名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名
DAY)}' 分区字段含有空值 “按表分区抽取”选择“否”时，显示该参数，表示是否允许分区字段包含空值。 是 按表分区抽取 从Oracle导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的Oracle表分区。 该功能不支持非分区表。 数
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型
操作步骤 本小节以RDS for MySQL到DWS的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型：源端选MySQL，目的端选DWS。
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
Hudi在commit时，会进行分区扫描操作，默认是单并发操作，当Hudi单次commit涉及的分区较多时，考虑增大该值以提升commit速度。 单次Commit的分区数量 <= 10，推荐值5。 单次Commit的分区数量 <= 25，推荐值10。 单次Commit的分区数量 <= 50，推荐值20。
MySQL同步到Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库（5.6、5.7、8.x版本） Kafka集群（2.7、3.x版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数
单击操作列“表属性编辑”可配置Hudi表属性，包含表类型，分区类型及表自定义属性。 图12 Hudi单表表属性配置 表类型：MERGE_ON_READ、COPY_ON_WRITE。 分区类型：无分区、时间分区、自定义分区。 其中时间分区需要用户指定一个源端表名，选择一个时间转换格式。 比如时间分区用户指定一个源端表名
作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
