检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤一：准备MySQL数据 购买RDS实例，参见表1配置关键参数，其他参数可保持默认，如需了解详情请参见RDS文档。 表1 RDS参数 参数项 取值 计费模式 按需计费 区域 华北-北京四 实例名称 rds-demo 数据库引擎 MySQL 数据库版本 5.7及以上 数据库端口 3306
接口，支持将limit和where条件下推到数据库执行。 使用DWS-Connector做结果表时，SQL语法格式可能在不同Flink环境下有细微差异，具体以事件环境格式为准。 详情请参见做源表、做结果表和做维表。 父主题： Flink SQL作业类型
MySQL配置 设置MySQL配置参数可在迁移MySQL数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-mysql.properties文件，并根据实际需要设置features-mysql.properties文件中的配置参数中的参数。 表1 features-mysql
步骤五：准备DWS对接Flink工具dws-connector-flink dws-connector-flink是一款基于DWS JDBC接口实现对接Flink的一个工具。在配置DLI作业阶段，将该工具及依赖放入Flink类加载目录，提升Flink作业入库DWS的能力。 浏
Flink SQL作业类型 Flink SQL概述 做源表 做结果表 做维表 父主题： dws-connector-flink
置一致。 使用dws-connector-flink的Sink能力来写入Binlog数据的话，需要注意以下几点： 如果需要保证DN内的数据写入顺序则需要设置connectionSize设置为1。 如果源端有更新主键操作或者需要flink进行聚合计算的话，将ignoreUpdate
statement中fetchSize参数，用于控制查询数据库返回条数。 1000 enablePushDown 开启条件下推：开启后limit和where条件会下推到数据库执行。 true 示例 该示例是从GaussDB(DWS)数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下：
为会先删除再写入数据。 true 使用flink SQL直连DN入库 该能力依赖flink sql DISTRIBUTEBY能力，mrs有提供此能力，具体请参见Flink SQL语法增强。 connector提供udf函数可根据分布列值计算出下游并并发结合flink sql DI
MySQL SQL迁移 工具支持从MySQL到GaussDB(DWS)的迁移，包括模式、DML、查询、系统函数、PL/SQL等。 在LINUX中执行MySQL迁移 在Linux中执行以下命令开始迁移。用户需指定源数据库、输入和输出文件夹路径和日志路径；应用程序语言类型是SQL。
了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 具体操作请参见通过DLI Flink作业将Kafka数据实时写入DWS。 父主题： 实时入库
云上RDS-MySQL数据迁移： RDS、CDM和GaussDB(DWS)均在同一个VPC下，CDM分别与MySQL和DWS建立JDBC连接。如果云上RDS与DWS不在一个VPC，则CDM通过弹性公网IP访问RDS。 迁移前数据检查 连接MySQL实例，查看MySQL数据库情况。 mysql -h <host>-P<port>-u
MySQL语法迁移 支持的关键词和特性 数据类型 函数和表达式 表（可选参数、操作） 索引 注释 数据库 数据操作语句（DML） 事务管理和数据库管理 父主题： DSC
Stream API作业类型 当Flink作业是通过API方式开发的，此时DWS-connector提供了一个DwsGenericSinkFunction类（该类实现了dws-client初始和flink checkpoint相关接口的实现），并且由DwsInvokeFuncti
for MySQL至GaussDB(DWS)集群 本实践演示如何使用云数据迁移服务CDM将AnalyticDB for MySQL（后面简称ADB）数据迁移到GaussDB(DWS)。 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁
'password' = '' ); 参数说明 表1 数据库配置 参数 说明 默认值 connector flink框架区分Connector参数，固定为dws。 - url 数据库连接地址。 - username 配置连接用户。 - password 数据库用户密码。 - 表2 连接配置参数 参数
SQL方式引入 在使用Flink SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录，从1.0.3版本开始已经将带有依赖的包发布至maven仓库，使用时可直接在仓库下载使用： 选择匹配flink环境的包。 图1 Flink包 进入软件包详情页面。 图2
Oracle、Teradata和MySQL语法兼容性差异 GaussDB(DWS)支持Oracle、Teradata和MySQL三种兼容模式，分别兼容Oracle、Teradata和MySQL语法，不同兼容模式下的语法行为有一些差异。 数据库兼容模型可以在创建数据库时指定（由DBCOMPA
Binlog使用介绍 当用户需要捕获数据库事件用于数据增量导出Flink等第三方组件，并协同完成数据加工等任务时，DWS实时数仓中的HStore表提供了Binlog功能，通过消费Binlog数据来实现上下游的数据同步，提高数据加工的效率。 传统的数据比如MySQL数据库等，支持通过Binlog
COLLATE 在MySQL中，COLLATE表示默认的数据库排序规则。GaussDB(DWS)不支持该属性修改表定义信息，DSC迁移时会将该关键字删除。 输入示例 1 2 3 4 5 6 7 8 CREATE TABLE `public`.`runoob_tbl_test`(
数据库 在MySQL中，DATABASE 是一种模式对象，等同于Oracle、GaussDB(DWS)数据库的SCHEMA概念。DSC工具迁移时考虑了以下两个场景。 创建数据库 输入示例 create database IF NOT EXISTS dbname1 CHARACTER
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
