数据仓库服务 GAUSSDB(DWS)-Flink实时消费Binlog:注意事项

时间:2024-11-28 01:48:55

注意事项

  • Binlog功能当前为beta版本,受限商用,如需使用请联系技术支持。
  • 当前仅8.3.0.100及以上版本支持HStore和HStore-opt记录Binlog功能。
  • 目前 GaussDB (DWS)只有Hstore表支持Binlog功能,表需要包含主键且设置enable_binlog=on。
  • 消费的Binlog表名不要带有特殊字符,如.、""等。
  • 如果多个任务消费同一张表的Binlog数据,需要保证每个任务的binlogSlotName唯一。
  • 为了达到最高的消费速度,建议将任务的并发度和DWS集群DN数设置一致。
  • 使用dws-connector-flink工具的Sink能力来写入Binlog数据的话,如果需要保证DN内的数据写入顺序则需要设置connectionSize的值为1;如果源端有更新主键操作或需要进行聚合计算的话,需要将ignoreUpdateBefore设置为false,否则不建议设置将ignoreUpdateBefore设置为false
support.huaweicloud.com/HyDevg-830-dws/dws_15_00017.html