华为云首页用户手册

数据仓库服务 GaussDB(DWS)-关于GDS并行导入:GDS并发导入

数据仓库服务 GaussDB(DWS)-关于GDS并行导入:GDS并发导入

时间：2023-11-01 16:15:35

数据仓库服务 GaussDB(DWS) 使用GDS从远端服务器导入数据

GDS并发导入

数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。如图2所示。
图2 多数据服务器并行导入

GDS进程数目不能超过DN数目。如果超过，会出现一个DN连接多个GDS进程的情形，可能会导致部分GDS异常运行。
数据存储在一台数据服务器上时，如果 GaussDB (DWS)及数据服务器上的I/O资源均还有可利用空间时，可以采用GDS多线程来支持并发导入。
GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程，也并不会加速单个导入事务。未做过人为事务处理时，一条INSERT语句就是一个导入事务。
综上，多线程的使用场景如下：
- 多表并发导入时，采用多线程充分利用资源及提升并发导入效率。
- 对数据量大的某一事实表的导入进行提速。
  将该事实表对应的数据拆分为多个数据文件，通过多外表同时入库的方式实现多线程并发导入。注意需确保每个外表所能读取的数据文件不重复。

上一篇：数据仓库服务 GaussDB(DWS)-关于GDS并行导入:概述

下一篇：数据仓库服务 GaussDB(DWS)-关于GDS并行导入:概述

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

数据仓库服务 GaussDB(DWS)-关于GDS并行导入:GDS并发导入

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题