检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 本实践演示如何使用华为云DLI服务的Flink作业，将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟，实践用到的云服务包括虚拟私有云 VPC及子网、云数据库
Flink SQL概述 DWS-connector主要实现了DynamicTableSourceFactory和DynamicTableSinkFactory接口，可用于对接GaussDB(DWS)表作为Flink作业的源表、结果表和维表。 使用DWS-Connector做源表时
步骤五：准备DWS对接Flink工具dws-connector-flink dws-connector-flink是一款基于DWS JDBC接口实现对接Flink的一个工具。在配置DLI作业阶段，将该工具及依赖放入Flink类加载目录，提升Flink作业入库DWS的能力。 浏
置一致。 使用dws-connector-flink的Sink能力来写入Binlog数据的话，需要注意以下几点： 如果需要保证DN内的数据写入顺序则需要设置connectionSize设置为1。 如果源端有更新主键操作或者需要flink进行聚合计算的话，将ignoreUpdate
Flink SQL作业类型 Flink SQL概述 做源表 做维表 父主题： dws-connector-flink
enablePushDown 开启条件下推：开启后limit和where条件会下推到数据库执行。 true 示例 该示例是从GaussDB(DWS)数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下： 在GaussDB(DWS)中创建相应的表，表名为dws_order，SQL语句参考如下：
了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 具体操作请参见通过DLI Flink作业将Kafka数据实时写入DWS。 父主题： 实时入库
MySQL配置 设置MySQL配置参数可在迁移MySQL数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-mysql.properties文件，并根据实际需要设置features-mysql.properties文件中的配置参数中的参数。 表1 features-mysql
dws-connector-flink 引入依赖 Stream API作业类型 Flink SQL作业类型 父主题： DWS-Connector
迁移场景 主要包括云上和云下的MySQL数据迁移，支持整库迁移或者单表迁移，本文以云下MySQL的整库迁移为例。 云下MySQL数据迁移： CDM通过公网IP访问MySQL数据库，CDM与GaussDB(DWS)在同一个VPC下，CDM分别与MySQL和DWS建立JDBC连接。 云上RDS-MySQL数据迁移：
ss 读取后开始计算的超时时间 Duration 当选择LRU缓存策略后，可以设置每次读取后，超时时间顺延长，默认不生效。 null lookupCacheExpireAfterWrite 写入后开始计算的超时时间 Duration 当选择LRU缓存策略后，可以设置每次写入后，超时时间固定，不论访问与否。
MySQL SQL迁移 工具支持从MySQL到GaussDB(DWS)的迁移，包括模式、DML、查询、系统函数、PL/SQL等。 在LINUX中执行MySQL迁移 在Linux中执行以下命令开始迁移。用户需指定源数据库、输入和输出文件夹路径和日志路径；应用程序语言类型是SQL。
for MySQL至GaussDB(DWS)集群 本实践演示如何使用云数据迁移服务CDM将AnalyticDB for MySQL（后面简称ADB）数据迁移到GaussDB(DWS)。 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁
MySQL语法迁移 支持的关键词和特性 数据类型 函数和表达式 表（可选参数、操作） 索引 注释 数据库 数据操作语句（DML） 事务管理和数据库管理 父主题： DSC
DEFAULT,DEFAULT); SET MySQL INSERT...SET语句的形式插入基于明确指定的值的行。 输入示例 1 2 3 4 # INSERT INTO SET 可以针对性的执行插入操作，但是一次只能插入一行数据，不能批量添加数据 INSERT INTO exmp_tb2
Oracle、Teradata和MySQL语法兼容性差异 GaussDB(DWS)支持Oracle、Teradata和MySQL三种兼容模式，分别兼容Oracle、Teradata和MySQL语法，不同兼容模式下的语法行为有一些差异。 数据库兼容模型可以在创建数据库时指定（由DB
SQL方式引入 在使用Flink SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录，从1.0.3版本开始已经将带有依赖的包发布至maven仓库，使用时可直接在仓库下载使用： 选择匹配flink环境的包。 图1 Flink包 进入软件包详情页面。 图2
当用户需要捕获数据库事件用于数据增量导出Flink等第三方组件，并协同完成数据加工等任务时，DWS实时数仓中的HStore表提供了Binlog功能，通过消费Binlog数据来实现上下游的数据同步，提高数据加工的效率。 传统的数据比如MySQL数据库等，支持通过Binlog来记录数据
支持配置比较字段，必须满足新数据比数据库值大才会被更新。 flink sql支持逻辑删除。 connector-flink新增 Scala2.12：Flink 1.17 1.1.0 dws client 缓存写入性能优化 - 1.1.0.1 client适配bit类型入库。
压缩参数 : table.compress.mode创建新表时，需要在CREATE TABLE语句中指定关键字COMPRESS，这样，当对该表进行批量插入时就会触发压缩特性。该特性会在页范围内扫描所有元组数据，生成字典、压缩元组数据并进行存储。指定关键字NOCOMPRESS则不对表进行压缩。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
