检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤一：准备MySQL数据 购买RDS实例，参见表1配置关键参数，其他参数可保持默认，如需了解详情请参见RDS文档。 表1 RDS参数 参数项 取值 计费模式 按需计费 区域 华北-北京四 实例名称 rds-demo 数据库引擎 MySQL 数据库版本 5.7及以上 数据库端口 3306
接口，支持将limit和where条件下推到数据库执行。 使用DWS-Connector做结果表时，SQL语法格式可能在不同Flink环境下有细微差异，具体以事件环境格式为准。 详情请参见做源表、做结果表和做维表。 父主题： Flink SQL作业类型
'password' = '' ); 参数说明 表1 数据库配置 参数 说明 默认值 connector flink框架区分Connector参数，固定为dws。 - url 数据库连接地址。 - username 配置连接用户。 - password 数据库用户密码。 - 表2 连接配置参数 参数
statement中fetchSize参数，用于控制查询数据库返回条数。 1000 enablePushDown 开启条件下推：开启后limit和where条件会下推到数据库执行。 true 示例 该示例是从GaussDB(DWS)数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下：
数据的其它列被设置为null，因为会先删除再写入数据。 true 示例 该示例是从kafka数据源中读取数据，写入DWS结果表中，并指定攒批时间不超过10秒，每批数据最大30000条，其具体步骤如下： 在GaussDB(DWS)数据库中创建表public.dws_order： 1
置一致。 使用dws-connector-flink的Sink能力来写入Binlog数据的话，需要注意以下几点： 如果需要保证DN内的数据写入顺序则需要设置connectionSize设置为1。 如果源端有更新主键操作或者需要flink进行聚合计算的话，将ignoreUpdate
MySQL配置 设置MySQL配置参数可在迁移MySQL数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-mysql.properties文件，并根据实际需要设置features-mysql.properties文件中的配置参数中的参数。 表1 features-mysql
MySQL SQL迁移 工具支持从MySQL到GaussDB(DWS)的迁移，包括模式、DML、查询、系统函数、PL/SQL等。 在LINUX中执行MySQL迁移 在Linux中执行以下命令开始迁移。用户需指定源数据库、输入和输出文件夹路径和日志路径；应用程序语言类型是SQL。
SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录，从1.0.3版本开始已经将带有依赖的包发布至maven仓库，使用时可直接在仓库下载使用： 选择匹配flink环境的包。 图1 Flink包 进入软件包详情页面。 图2 Flink包详情页 选择最新版本。 图3
Flink SQL作业类型 Flink SQL概述 做源表 做结果表 做维表 父主题： dws-connector-flink
MySQL语法迁移 支持的关键词和特性 数据类型 函数和表达式 表（可选参数、操作） 索引 注释 数据库 数据操作语句（DML） 事务管理和数据库管理 父主题： DSC
步骤五：准备DWS对接Flink工具dws-connector-flink dws-connector-flink是一款基于DWS JDBC接口实现对接Flink的一个工具。在配置DLI作业阶段，将该工具及依赖放入Flink类加载目录，提升Flink作业入库DWS的能力。 浏
Binlog使用介绍 当用户需要捕获数据库事件用于数据增量导出Flink等第三方组件，并协同完成数据加工等任务时，DWS实时数仓中的HStore表提供了Binlog功能，通过消费Binlog数据来实现上下游的数据同步，提高数据加工的效率。 传统的数据比如MySQL数据库等，支持通过Binlog
Oracle、Teradata和MySQL语法兼容性差异 GaussDB(DWS)支持Oracle、Teradata和MySQL三种兼容模式，分别兼容Oracle、Teradata和MySQL语法，不同兼容模式下的语法行为有一些差异。 数据库兼容模型可以在创建数据库时指定（由DBCOMPA
for MySQL至GaussDB(DWS)集群 本实践演示如何使用云数据迁移服务CDM将AnalyticDB for MySQL（后面简称ADB）数据迁移到GaussDB(DWS)。 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁
数据库 在MySQL中，DATABASE 是一种模式对象，等同于Oracle、GaussDB(DWS)数据库的SCHEMA概念。DSC工具迁移时考虑了以下两个场景。 创建数据库 输入示例 create database IF NOT EXISTS dbname1 CHARACTER
云上RDS-MySQL数据迁移： RDS、CDM和GaussDB(DWS)均在同一个VPC下，CDM分别与MySQL和DWS建立JDBC连接。如果云上RDS与DWS不在一个VPC，则CDM通过弹性公网IP访问RDS。 迁移前数据检查 连接MySQL实例，查看MySQL数据库情况。 mysql -h <host>-P<port>-u
事务管理 TRANSACTION DSC工具在迁移MySQL事务处理语句时会根据GaussDB(DWS)特性进行相应适配。 输入示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ##该声明仅适用于会话中执行的下一个单个事务 SET
了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 具体操作请参见通过DLI Flink作业将Kafka数据实时写入DWS。 父主题： 实时入库
'UTF8MB4'; ##mysql中不支持 SET CHARACTER SET 'UCS2'; ##mysql中不支持SET CHARACTER SET 'UTF16'; ##mysql中不支持SET CHARACTER SET 'UTF16LE'; ##mysql中不支持SET CHARACTER
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
