数据仓库服务 GAUSSDB(DWS)-GDS导入示例:集群间不落地数据导入

时间：2024-11-05 19:20:00

集群间不落地数据导入

启动GDS。（如果已经启动跳过此步骤）
```
gds -d /***/gds_data/ -D -p GDS_IP:GDS_PORT -l /***/gds_log/aa.log -H 0/0 -t 10 -D
```
如果需要设置管道文件的超时时间，则使用--pipe-timeout参数设置。

源数据库数据导出。

登录目标数据库创建内表，并写入数据。

CREATE TABLE test_pipe( id integer not null, gender text not null, name  text );
INSERT INTO test_pipe values(1,2,'11111111111111');
INSERT INTO test_pipe values(2,2,'11111111111111');
INSERT INTO test_pipe values(3,2,'11111111111111');
INSERT INTO test_pipe values(4,2,'11111111111111');
INSERT INTO test_pipe values(5,2,'11111111111111');

创建只写外表。

CREATE FOREIGN TABLE foreign_test_pipe( id integer not null, age text not null, name  text ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://GDS_IP:GDS_PORT/', FORMAT 'text', DELIMITER ',', NULL '', EOL '0x0a' ,file_type 'pipe') WRITE ONLY;

导入语句，此时语句会阻塞。

INSERT INTO foreign_test_pipe SELECT * FROM test_pipe;

目标集群导入数据。

创建内表。

CREATE TABLE test_pipe (id integer not null, gender text not null, name text);

创建只读外表。

CREATE FOREIGN TABLE foreign_test_pipe(like test_pipe) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://GDS_IP:GDS_PORT/', FORMAT 'text', DELIMITER ',', NULL '', EOL '0x0a' , file_type 'pipe', auto_create_pipe 'false');

执行导入语句：

INSERT INTO test_pipe SELECT * FROM foreign_test_pipe;

查看目标集群导入语句返回的结果：

SELECT * FROM test_pipe;
 id | gender |      name
----+-----+----------------
  3 | 2   | 11111111111111
  6 | 2   | 11111111111111
  7 | 2   | 11111111111111
  1 | 2   | 11111111111111
  2 | 2   | 11111111111111
  4 | 2   | 11111111111111
  5 | 2   | 11111111111111
  8 | 2   | 11111111111111
  9 | 2   | 11111111111111
(9 rows)

GDS默认导出或者导入的管道文件命名规则为：“数据库名_模式名_外表名.pipe”，因此默认需要目标集群与源集群的数据库名及模式名保持一致。如果数据库或模式不一致，则可以在location的url中指定相同的管道文件。

示例：

只写外表指定管道名。

CREATE FOREIGN TABLE foreign_test_pipe(id integer not null, age text not null, name  text) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://GDS_IP:GDS_PORT/foreign_test_pipe.pipe', FORMAT 'text', DELIMITER ',',  NULL '', EOL '0x0a' ,file_type 'pipe') WRITE ONLY;

只读外表指定管道名。

CREATE FOREIGN TABLE foreign_test_pipe(like test_pipe) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://GDS_IP:GDS_PORT/foreign_test_pipe.pipe', FORMAT 'text', DELIMITER ',',  NULL '', EOL '0x0a' ,file_type 'pipe',auto_create_pipe 'false');

上一篇：数据仓库服务 GAUSSDB(DWS)-GDS导入示例:多线程导入

下一篇：数据仓库服务 GAUSSDB(DWS)-GDS导入示例:多线程导入