云数据库 GAUSSDB-gs_loader:使用指导

时间：2024-12-13 17:15:46

云数据库 GAUSSDB

使用指导

（非三权分立）仅对于普通用户。
1. （在管理员用户下）创建用户：
```
CREATE USER load_user WITH PASSWORD '************';
```
2. （在管理员用户下）给用户授权gs_copy_summary表：
```
GRANT INSERT,SELECT ON  pg_catalog.gs_copy_summary To load_user;
```
3. 切换用户。
```
\c - load_user
```

（三权分立）对于普通用户和管理员用户。

（在初始用户下）创建用户：

CREATE USER load_user WITH PASSWORD '********';

（在初始用户下）切换为load_user用户：
```
\c - load_user
```

创建gs_copy_summary表并添加索引。

CREATE TABLE load_user.gs_copy_summary(relname varchar, begintime timestamptz, endtime timestamptz, id bigint, pid bigint, readrows bigint, skiprows bigint, loadrows bigint, errorrows bigint, whenrows bigint, allnullrows bigint, detail text);
CREATE INDEX gs_copy_summary_idx ON load_user.gs_copy_summary(id);

创建表和控制文件，准备数据文件。

创建表loader_tbl。

    
         CREATE TABLE  loader_tbl
(
    ID   NUMBER,
    NAME VARCHAR2(20),
    CON  VARCHAR2(20),
    DT   DATE
);

（在gs_loader客户端机器上）创建控制文件loader.ctl。

    
         LOAD DATA
truncate into table loader_tbl
WHEN (2:2) = ',' 
fields terminated by ','
trailing nullcols
(
    id integer external,
    name char(32),
    con ":id || '-' || :name",
    dt date
)

（在gs_loader客户端机器上）创建guc参数文件guc.txt。

    
         set a_format_copy_version='s1';

（在gs_loader客户端机器上）创建数据文件data.csv。

    
         1,OK,,2007-07-8
2,OK,,2008-07-8
3,OK,,2009-07-8
4,OK,,2007-07-8
43,DISCARD,,2007-07-8
,,,
32,DISCARD,,2007-07-8
a,ERROR int,,2007-07-8
8,ERROR date,,2007-37-8
,,,,
 ,
8,ERROR fields,,2007-37-8
,,,
5,OK,,2021-07-30

进行导入。

（在gs_loader客户端机器上）执行导入前，先确认gs_loader工具有可执行权限。确保当前路径有文件写入权限（gs_loader在处理过程中会生成一些临时文件，导入完成后自动删除）。

    
         gs_loader control=loader.ctl data=data.csv db=testdb bad=loader.bad guc_param=guc.txt errors=5 port=8000 passwd=************ user=load_user

执行结果：

    
         gs_loader: version 0.1
 
 5 Rows successfully loaded. 
 
log file is: 
 loader.log

gs_copy_summary用于记录调用的copy语法及其详细情况，[badfile]_bad.log文件用于记录错误数据及其详细情况。为防止上一次导入时记录的错误数据以及详细情况被覆盖，建议每次执行导入时使用不同的bad参数。如果使用错误表pgxc_copy_error_log记录错误数据以及详细情况，请开启GUC参数enable_copy_error_log。如需删除表中的数据，可以对上述表执行truncate或者delete操作。

上一篇：云数据库 GAUSSDB-gs_loader:概述

下一篇：云数据库 GAUSSDB-gs_loader:安装部署