数据仓库服务 GaussDB(DWS)-执行导入数据:操作步骤

时间:2023-11-01 16:15:35

操作步骤

  1. GaussDB (DWS)中创建目标表,用于存储导入的数据。建表语句请参见CREATE TABLE。
  2. 执行数据导入。

    1
    INSERT INTO [目标表名] SELECT * FROM [foreign table 表名];
    • 若出现以下类似信息,说明数据导入成功。请查询错误信息表,查看是否存在数据格式错误,详细操作请参见处理错误表
      INSERT 0 9
    • 若出现数据加载错误,请参见处理错误表,并重新执行数据导入。
    • 若执行过程中出现数据加载错误,则数据全部导入失败,没有数据导入至目标表中。
    • 编写批处理任务脚本,实现并发批量导入数据。并发量视机器资源使用情况而定。可通过几个表测试,监控资源利用率,根据结果提高或减少并发量。常用资源监控命令有:内存和CPU监控top命令,IO监控命令iostat,网络监控命令sar等。相关案例请参见。
    • 在资源许可的情况下,多台GDS服务器并发导入会很大程度上提高数据导入效率。相关案例请参见多数据服务器并行导入
    • 对于高并发的GDS导入场景,为了保持GDS和DN间的数据连接稳定,可以将GDS服务器环境和DN所在环境的TCP Keepalive检测时间增长(推荐增长至5分钟)。调整集群环境的TCP Keepalive参数会影响故障检测的响应时间。

support.huaweicloud.com/devg-811-dws/dws_04_0195.html