华为云首页用户手册

数据仓库服务 GaussDB(DWS)-Flink实时消费Binlog:注意事项

数据仓库服务 GaussDB(DWS)-Flink实时消费Binlog:注意事项

时间：2025-02-12 15:01:49

数据仓库服务 GaussDB(DWS) 实时数仓Binlog

注意事项

当前仅8.3.0.100及以上的版本支持HStore和HStore-opt记录Binlog功能。
V3 HStore表不支持Binlog，仅V3 HStore_opt表支持Binlog，且V3处于试商用阶段，使用前需要进行评估。
目前 GaussDB (DWS)只有Hstore表和HStore-opt支持Binlog功能，表需要包含主键且设置enable_binlog=on或者enable_binlog_timestamp=on。
消费的Binlog表名不要带有特殊字符，如.、""等。
如果多个任务消费同一张表的Binlog数据，需要保证每个任务的binlogSlotName唯一。
为了达到最高的消费速度，建议将任务的并发度和DWS集群DN数设置一致。
使用dws-connector-flink的Sink能力来写入Binlog数据的话，需要注意以下几点：
- 如果需要保证DN内的数据写入顺序则需要设置connectionSize设置为1。
- 如果源端有更新主键操作或者需要flink进行聚合计算的话，将ignoreUpdateBefore设置为false，否则不建议将 ignoreUpdateBefore设置为false（默认true）。

上一篇：数据仓库服务 GaussDB(DWS)-Flink实时消费Binlog:Binlog相关参数说明

下一篇：数据仓库服务 GaussDB(DWS)-Flink实时消费Binlog:Binlog相关参数说明

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据仓库服务 GaussDB(DWS)-Flink实时消费Binlog:注意事项

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题