华为云首页用户手册

数据仓库服务 GAUSSDB(DWS)-实例管理:GDS-Kafka入库模式

数据仓库服务 GAUSSDB(DWS)-实例管理:GDS-Kafka入库模式

时间：2024-09-13 09:51:44

数据仓库服务 GAUSSDB(DWS) 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群

GDS-Kafka入库模式

GDS-Kafka的数据入库都是先将数据copy至临时表，然后再根据客户的使用场景以及目标表有无主键进行merge或者insert，详见下表：

表3 GDS-Kafka入库模式
入库操作	app.insert.directly	是否主键表	入库模式
insert	true（仅支持无主键表）	否	使用insert select从临时表写入到目标表。
	false	是	根据主键从临时表merge到目标表。
	false	否	使用insert select从临时表写入到目标表。
delete	true（仅支持无主键表）	否	使用insert select从临时表写入到目标表。
	false 说明： delete操作支持标记删除，通过配置app.del.flag参数可以指定删除标记字段，如果配置了标记删除字段，则会通过将删除字段设置为1来标记删除的记录。	是	如果设置了delflag字段，则会根据主键进行匹配merge，如果匹配到主键并且目标表中记录的pos小于临时表记录的pos，则会将delflag字段置为1，否则将插入一条新的记录。如果没有设置delflag字段，则会根据主键进行匹配，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将目标表中匹配到的记录删除。
		否	如果设置了delflag字段，则会使用临时表中记录的所有字段与目标表进行匹配merge，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将delflag字段值置为1，否则将插入一条新的记录。如果没有设置delflag字段，则会使用临时表中记录的所有字段与目标表进行匹配，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将目标表中匹配到的记录删除。
update	true（仅支持无主键表）	否	使用insert+select从临时表写入到目标表。
	false 说明： update操作会被拆分，将before或者beforeImage中的消息拆分为delete操作，将after或者afterImage中的消息拆分为insert操作，然后再按照insert和delete的行为进行入库处理。	是	相当于有主键表的insert+delete操作。
		否	相当于无主键表的insert+delete操作。

上一篇：数据仓库服务 GAUSSDB(DWS)-实例管理:实例管理概述

下一篇：数据仓库服务 GAUSSDB(DWS)-实例管理:实例管理概述

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

数据仓库服务 GAUSSDB(DWS)-实例管理:GDS-Kafka入库模式

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题