数据仓库服务 GAUSSDB(DWS)-导入数据最佳实践:从OBS并行导入数据

时间:2024-10-25 17:34:20

从OBS并行导入数据

  • 将导入数据拆分为多个文件

    导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。

    从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。

  • 在导入前后验证数据文件

    从OBS导入数据时,首先将您的文件上传到OBS存储桶中,建议您列出存储桶的内容,然后验证该存储桶是否包含所有正确的文件并且仅包含这些文件。

    在完成导入操作后,请使用SELECT查询语句验证所需文件是否已导入。

  • OBS导入导出数据时,不支持中文路径。
support.huaweicloud.com/bestpractice-dws/dws_05_0001.html