云数据库 GAUSSDB-示例:示例:Remote模式导出

时间:2024-01-23 20:09:21

示例:Remote模式导出

规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出数据文件格式为 CS V,所以规划的并行导出模式为Remote模式。

Remote模式并行导出数据操作示例如下所示:

  1. (可选)创建用户及其所属的用户组。此用户用于启动GDS。若该类用户及所属用户组已存在,可跳过此步骤。
    groupadd gdsgrp
    useradd -g gdsgrp gds_user
  2. 切换用户gds_user,创建数据文件存放目录“/output_data”,启动gds_user用户及所属的用户组。
    su - gds_user
    mkdir -p /output_data
  3. 修改数据服务器上数据文件目录“/output_data”的属主为gds_user。
    chown -R gds_user:gdsgrp /output_data 
  4. 以gds_user用户登录数据服务器上分别启动GDS。
    其中GDS安装路径为“/opt/bin/gds”,导出数据文件存放在“/output_data/”目录下,数据服务器所在IP为192.168.0.90,GDS侦听端口为5000,以后台方式运行。
    /opt/bin/gds/gds -d /output_data -p 192.168.0.90:5000 -H 10.10.0.1/24 -D
  5. 在数据库中创建外表foreign_tpcds_reasons用于接收数据服务器上的数据。

    其中设置的导出模式信息如下所示:

    • 由于启动GDS时,设置的导出数据文件存放目录为“/output_data/”,GDS侦听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192.168.0.90:5000/”。

    设置导出的数据文件格式信息如下所示:

    • 数据文件格式(format)为CSV。
    • 编码格式(encoding)为UTF-8。
    • 字段分隔符(delimiter)为E'\x08'。
    • 引号字符(quote)为0x1b。
    • 数据文件中空值(null)为没有引号的空字符串。
    • 逃逸字符(escape)为默认值双引号。
    • 数据文件是否包含标题行(header)为默认值false,即导出时数据文件第一行被识别为数据。

    根据以上信息,创建的外表如下所示:

    1
    2
    3
    4
    5
    6
    postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons
    (
      r_reason_sk    integer        not null,
      r_reason_id    char(16)       not null,
      r_reason_desc  char(100)
    ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'CSV',ENCODING 'utf8',DELIMITER E'\x08', QUOTE E'\x1b', NULL '') WRITE ONLY;
    
  6. 在数据库上,通过外表foreign_tpcds_reasons,将数据导出到数据文件中。
    1
    postgres=# INSERT INTO foreign_tpcds_reasons SELECT * FROM reasons;
    
  7. 待数据导出完成后,以gds_user用户登录数据服务器,停止GDS。
    其中GDS进程号为128954。
    ps -ef|grep gds
    gds_user 128954      1  0 15:03 ?        00:00:00 gds -d /output_data -p 192.168.0.90:5000 -D
    gds_user 129003 118723  0 15:04 pts/0    00:00:00 grep gds
    kill -9 128954
support.huaweicloud.com/devg-v1-gaussdb/gaussdb_devg_0234.html