数据仓库服务 GAUSSDB(DWS)-DWS-Connector版本说明

时间：2024-10-26 11:41:19

DWS-Connector版本说明

表1 版本变更记录
版本	变更描述	备注
1.0	初始化版本。	dws-connector-flink仅发布Scala2.11 Flink 1.12版本
1.0.2	dwsclient优化异常重试逻辑，由所有异常重试修改为只重试：连接异常、数据库只读、超时、连接数过多、加锁异常五类异常。	dws-connector-flink支持版本： Scala2.11： Flink 1.12、1.13 Scala2.12：Flink 1.12、1.13、1.15
1.0.3	已知问题修复与性能优化。支持update写入场景。支持使用唯一索引。由于支持update模式，为避免原dwsClient中upsert接口歧义，故后续统一使用write接口承载写入操作，两接口能力一致推荐使用write。	-
1.0.4	增加SQL执行超时时间，避免长时间阻塞。	-
1.0.5	修复无主键表相同数据写入丢失问题。	-
1.0.6	优化攒缓存逻辑代码性能，提升在CPU不足场景的吞吐。增加临时表复用，避免在copy merge/upsert场景频繁创建临时表。 copy增加 CS V格式，避免在数据复杂时受特殊字符干扰无法正常入库。	-
1.0.7	数据库重启中写入数据失败后支持重试。增加as方式创建临时表，解决在有主键表无法使用copy merge/upsert的问题。数据库字段适配为默认大小写不敏感。 Flink SQL增加打印主键参数，用于分析数据缺失时排查问题。	-
1.0.8	修复Flink SQL主键配置必须大小写和数据库一致问题。增加设置sink并发的参数。	-
1.0.9	优化时间类型入库。	-
1.0.10	修复client并发执行delete和insert，导致有概率先执行insert后执行delete，当同主键数据在同一批缓存中先删除后写入会导致丢数据问题。修复Kafka写dws链路中偶现写DWS异常后丢数据问题。新增connector参数ignoreUpdateBefore，部分主要参数兼容flink-connector-jdbc。	-