检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤一：准备MySQL数据 购买RDS实例，参见表1配置关键参数，其他参数可保持默认，如需了解详情请参见RDS文档。 表1 RDS参数 参数项 取值 计费模式 按需计费 区域 华北-北京四 实例名称 rds-demo 数据库引擎 MySQL 数据库版本 5.7及以上 数据库端口 3306
Flink SQL概述 DWS-connector主要实现了DynamicTableSourceFactory和DynamicTableSinkFactory接口，可用于对接GaussDB(DWS)表作为Flink作业的源表、结果表和维表。 使用DWS-Connector做源表时
'username' = '', 'password' = '' ); 参数说明 表1 数据库配置 参数 说明 默认值 connector flink框架区分connector参数，固定为dws。 - url 数据库连接地址。 - username 配置连接用户。 - password 配置密码。
Flink SQL作业类型 Flink SQL概述 做源表 做结果表 做维表 父主题： dws-connector-flink
by必须根据数据库主键做，保证同一个主键数据会在同一个并发中，破坏掉并发更新的条件，无法造成死锁。Flink SQL做key by需要Flink本身支持，对于DLI/MRS均能实现，如MRS flink通过增加参数“key-by-before-sink=true”可实现key by。具体怎
lookupCacheExpireAfterWrite 写入后开始计算的超时时间 Duration 当选择LRU缓存策略后，可以设置每次写入后，超时时间固定，不论访问与否。 10s lookupCacheMissingKey 数据不存在后写入缓存 boolean 当选择LRU缓存策略后，维表数据不存在，同时将数据缓存。
置一致。 使用dws-connector-flink的Sink能力来写入Binlog数据的话，需要注意以下几点： 如果需要保证DN内的数据写入顺序则需要设置connectionSize设置为1。 如果源端有更新主键操作或者需要flink进行聚合计算的话，将ignoreUpdate
MySQL配置 设置MySQL配置参数可在迁移MySQL数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-mysql.properties文件，并根据实际需要设置features-mysql.properties文件中的配置参数中的参数。 表1 features-mysql
dws-connector-flink 引入依赖 Stream API作业类型 Flink SQL作业类型 父主题： DWS-Connector
SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录，从1.0.3版本开始已经将带有依赖的包发布至maven仓库，使用时可直接在仓库下载使用： 选择匹配flink环境的包。 图1 Flink包 进入软件包详情页面。 图2 Flink包详情页 选择最新版本。 图3
MySQL SQL迁移 工具支持从MySQL到GaussDB(DWS)的迁移，包括模式、DML、查询、系统函数、PL/SQL等。 在LINUX中执行MySQL迁移 在Linux中执行以下命令开始迁移。用户需指定源数据库、输入和输出文件夹路径和日志路径；应用程序语言类型是SQL。
MySQL语法迁移 支持的关键词和特性 数据类型 函数和表达式 表（可选参数、操作） 索引 注释 数据库 数据操作语句（DML） 事务管理和数据库管理 父主题： DSC
步骤五：准备DWS对接Flink工具dws-connector-flink dws-connector-flink是一款基于DWS JDBC接口实现对接Flink的一个工具。在配置DLI作业阶段，将该工具及依赖放入Flink类加载目录，提升Flink作业入库DWS的能力。 浏
要在相同的兼容模式下操作。 例如：在MySQL兼容模式下导入（导出）的数据，同样需要在MySQL兼容模式下才能正确导出（导入）。 概述 在数据迁移、ETL（Extract-Transform-Load）过程中，需要向GaussDB(DWS)并行导入海量数据，使用普通方式会耗费大量
并行导入 GaussDB(DWS)提供了并行导入功能，以快速、高效地完成大量数据导入。介绍GaussDB(DWS)并行导入的相关参数。 raise_errors_if_no_files 参数说明：导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_
例如：在MySQL兼容模式下导入（导出）的数据，同样需要在MySQL兼容模式下才能正确导出（导入）。 概述 并行导入将存储在服务器普通文件系统中的数据导入到GaussDB(DWS)数据库中。暂时不支持将存储在HDFS文件系统上的数据导入GaussDB(DWS)。 并行导入功能通
Stream API作业类型 当Flink作业是通过API方式开发的，此时DWS-connector提供了一个DwsGenericSinkFunction类（该类实现了dws-client初始和flink checkpoint相关接口的实现），并且由DwsInvokeFuncti
Oracle、Teradata和MySQL语法兼容性差异 GaussDB(DWS)支持Oracle、Teradata和MySQL三种兼容模式，分别兼容Oracle、Teradata和MySQL语法，不同兼容模式下的语法行为有一些差异。 数据库兼容模型可以在创建数据库时指定（由DB
关于OBS并行导出 概述 GaussDB(DWS)数据库支持通过OBS外表并行导出数据：通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件，利用多DN并行的方式，将数据从GaussDB(DWS)数据库导出到外部，存放在OBS对象存储服务器上，从而提高整体导出性能。
并行导入 GaussDB(DWS)提供了并行导入功能，以快速、高效地完成大量数据导入。介绍GaussDB(DWS)并行导入的相关参数。 raise_errors_if_no_files 参数说明：导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
