华为云首页用户手册

数据仓库服务 GAUSSDB(DWS)-GDS导出示例:Remote模式导出

时间：2023-11-22 14:18:17

数据仓库服务 GAUSSDB(DWS) 使用GDS导出数据到远端服务器

Remote模式导出

规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，导出数据文件格式为 CS V，所以规划的并行导出模式为Remote模式。

Remote模式并行导出数据操作示例如下所示：

以root用户登录GDS数据服务器，创建数据文件存放目录“/output_data”，启动gds_user用户及所属的用户组。
```
mkdir -p /output_data
```
（可选）创建用户及其所属的用户组。此用户用于启动GDS。若该类用户及所属用户组已存在，可跳过此步骤。
```
groupadd gdsgrp
useradd -g gdsgrp gds_user
```
修改数据服务器上数据文件目录“/output_data”的属主为gds_user。
```
chown -R gds_user:gdsgrp /output_data 
```
以gds_user用户登录数据服务器上分别启动GDS。
其中GDS安装路径为“/opt/bin/dws/gds”，导出数据文件存放在“/output_data/”目录下，数据服务器所在IP为192.168.0.90，GDS监听端口为5000，以后台方式运行。
```
/opt/bin/dws/gds/bin/gds -d /output_data -p 192.168.0.90:5000 -H 10.10.0.1/24 -D
```

在数据库中创建外表foreign_tpcds_reasons用于接收数据服务器上的数据。

其中设置的导出模式信息如下所示：

由于启动GDS时，设置的导出数据文件存放目录为“/output_data/”，GDS监听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192.168.0.90:5000/”。

设置导出的数据文件格式信息如下所示：

数据文件格式（format）为CSV。
编码格式（encoding）为UTF-8。
字段分隔符（delimiter）为E'\x08'。
引号字符（quote）为E'\x1b'。
数据文件中空值（null）为没有引号的空字符串。
逃逸字符（escape）默认和quote相同。
数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。

根据以上信息，创建的外表如下所示：

CREATE FOREIGN TABLE foreign_tpcds_reasons
(
  r_reason_sk    integer        not null,
  r_reason_id    char(16)       not null,
  r_reason_desc  char(100)
) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'CSV',ENCODING 'utf8',DELIMITER E'\x08', QUOTE E'\x1b', NULL '') WRITE ONLY;

在数据库上，通过外表foreign_tpcds_reasons，将数据导出到数据文件中。
1

INSERT INTO foreign_tpcds_reasons SELECT * FROM tpcds.reason;

待数据导出完成后，以gds_user用户登录数据服务器，停止GDS。

其中GDS进程号为128954。

ps -ef|grep gds
gds_user 128954      1  0 15:03 ?        00:00:00 gds -d /output_data -p 192.168.0.90:5000 -D
gds_user 129003 118723  0 15:04 pts/0    00:00:00 grep gds
kill -9 128954

上一篇：数据仓库服务 GAUSSDB(DWS)-GDS导出示例:多线程导出

下一篇：数据仓库服务 GAUSSDB(DWS)-GDS导出示例:多线程导出