数据仓库服务 GAUSSDB(DWS)-实例管理:实例管理概述

时间：2024-09-13 09:51:44

数据仓库服务 GAUSSDB(DWS) 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群

实例管理概述

数据迁移功能采用独立集群的方式为用户提供安全可靠的数据迁移服务，各集群之间相互隔离，不可互相访问。其中实例管理通过购买GDS-Kafka实例帮助用户创建、管理集群。GDS-Kafka的工作方式是从Kafka中消耗数据并缓存，当达到设置好的时间或数据量之后，通过COPY写入 GaussDB (DWS)临时表，再从临时表进行插入或更新操作。

Kafka的消息生产端必须按照一定的格式要求进行数据生产，其中消息格式由“kafka.source.event.type”配置参数指定。当前支持的消息格式详见GDS-Kafka支持的消息格式。
GDS-Kafka支持直接insert（仅限无主键表）和merge覆盖更新两种入库模式，您可以根据DWS目标表的类型进行灵活配置，直接insert模式由于不涉及更新在性能上要更优一些。其中入库模式由“app.insert.directly”配置参数和有无主键共同决定，详见GDS-Kafka入库模式。