华为云首页用户手册

数据仓库服务 GAUSSDB(DWS)-执行导入数据:背景信息

数据仓库服务 GAUSSDB(DWS)-执行导入数据:背景信息

时间：2023-11-22 14:18:36

数据仓库服务 GAUSSDB(DWS) 从OBS导入CSV、TEXT数据（方式一）

背景信息

在执行数据导入前，您可以参考以下优秀实践方法进行合理的设计部署，最大化的使用系统资源，以提高数据导入性能。

OBS的数据导入性能，多数场景受限于网络的并发访问速率，因此在OBS服务器上最好部署多个桶，使用多桶并发导入，提高DN数据传输利用率。

并发导入场景，与单表导入相似，至少应保证I/O性能大于网络最大速率。

配置GUC参数“raise_errors_if_no_files”、“partition_mem_batch”和“partition_max_cache_size”，设置导入时是否区分“导入文件记录数为空”和“导入文件不存在”、导入时的缓存个数以及数据缓存区大小。

若导入表存在索引，在数据导入过程中，将增量更新索引信息，影响数据导入性能。建议在执行数据导入前，先删除相关表的索引。在数据导入完成后，再重新创建索引。

上一篇：数据仓库服务 GAUSSDB(DWS)-执行导入数据:操作步骤

下一篇：数据仓库服务 GAUSSDB(DWS)-执行导入数据:操作步骤

数据仓库服务 GAUSSDB(DWS)-执行导入数据:背景信息

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题