云服务器内容精选

华为云首页用户手册

使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群

数据仓库服务 GAUSSDB(DWS)-实例管理:GDS-Kafka入库模式

GDS-Kafka入库模式 GDS-Kafka的数据入库都是先将数据copy至临时表，然后再根据客户的使用场景以及目标表有无主键进行merge或者insert，详见下表：表3 GDS-Kafka入库模式入库操作 app.insert.directly 是否主键表入库模式 insert true（仅支持无主键表）否使用insert select从临时表写入到目标表。 false 是根据主键从临时表merge到目标表。否使用insert select从临时表写入到目标表。 delete true（仅支持无主键表）否使用insert select从临时表写入到目标表。 false 说明： delete操作支持标记删除，通过配置app.del.flag参数可以指定删除标记字段，如果配置了标记删除字段，则会通过将删除字段设置为1来标记删除的记录。是如果设置了delflag字段，则会根据主键进行匹配merge，如果匹配到主键并且目标表中记录的pos小于临时表记录的pos，则会将delflag字段置为1，否则将插入一条新的记录。如果没有设置delflag字段，则会根据主键进行匹配，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将目标表中匹配到的记录删除。否如果设置了delflag字段，则会使用临时表中记录的所有字段与目标表进行匹配merge，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将delflag字段值置为1，否则将插入一条新的记录。如果没有设置delflag字段，则会使用临时表中记录的所有字段与目标表进行匹配，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将目标表中匹配到的记录删除。 update true（仅支持无主键表）否使用insert+select从临时表写入到目标表。 false 说明： update操作会被拆分，将before或者beforeImage中的消息拆分为delete操作，将after或者afterImage中的消息拆分为insert操作，然后再按照insert和delete的行为进行入库处理。是相当于有主键表的insert+delete操作。否相当于无主键表的insert+delete操作。

数据仓库服务 GAUSSDB(DWS) 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群
数据仓库服务 GAUSSDB(DWS)-实例管理:实例管理概述

实例管理概述数据迁移功能采用独立集群的方式为用户提供安全可靠的数据迁移服务，各集群之间相互隔离，不可互相访问。其中实例管理通过购买GDS-Kafka实例帮助用户创建、管理集群。GDS-Kafka的工作方式是从Kafka中消耗数据并缓存，当达到设置好的时间或数据量之后，通过COPY写入 GaussDB (DWS)临时表，再从临时表进行插入或更新操作。 Kafka的消息生产端必须按照一定的格式要求进行数据生产，其中消息格式由“kafka.source.event.type”配置参数指定。当前支持的消息格式详见GDS-Kafka支持的消息格式。 GDS-Kafka支持直接insert（仅限无主键表）和merge覆盖更新两种入库模式，您可以根据DWS目标表的类型进行灵活配置，直接insert模式由于不涉及更新在性能上要更优一些。其中入库模式由“app.insert.directly”配置参数和有无主键共同决定，详见GDS-Kafka入库模式。 GDS-kafka只支持目标表表名和字段全小写。 GDS-Kafka的删除是根据扩展字段中的pos进行历史删除，如果入库数据中有delete操作，则必须使用扩展字段。

数据仓库服务 GAUSSDB(DWS) 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群