数据仓库服务 GAUSSDB(DWS)-基于GDS的集群互联互通:技术原理

时间:2024-04-18 10:03:04

技术原理

将触发同步的“一条SQL”,通过查询重写转化为一对GDS不落地导入导出作业,分别在目标集群、源集群上执行,形成高效实时的数据中转通路,实现数据迁移同步。执行时,可以选择在目标集群或源集群上发起,分别对应“拉”、“推”两种方式。

图1 拉取方式

① 远程连接源集群,创建GDS只写外表,发起导出作业。

② 创建GDS只读外表,发起导入作业。

③ 工作线程A接收源集群数据,并写入本地文件。

④ 工作线程B读取本地文件数据,发送给目标集群。

⑤ 目标集群综合两端作业结果,得出最终结果返回给用户。

图2 推送方式

① 远程连接目标集群,创建GDS只读外表,发起导入作业。

② 创建GDS只写外表,发起导出作业。

③ 工作线程A接收源集群数据,并写入命名管道。

④ 工作线程B读取命名管道数据,发送给目标集群。

⑤ 源集群综合目标集群导入作业结果、本集群导出作业结果,返回最终结果给用户。

support.huaweicloud.com/twp-dws/dws_11_0028.html