检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
教程指引 本教程旨在演示使用GDS(Gauss Data Service)工具将远端服务器上的数据导入GaussDB中的办法,帮助您学习如何通过GDS进行数据导入的方法。 在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表,
教程:使用GDS从远端服务器导入数据 教程指引 先决条件 步骤1:准备源数据 步骤2:在数据服务器上安装配置和启动GDS 步骤3:在GaussDB数据库中创建外表 步骤4:将数据导入GaussDB 步骤5:分析和处理错误表中的错误信息 步骤6:优化导入数据的查询性能 步骤7:停止GDS
在存放数据源文件的服务器上,安装配置并启动GDS服务。以便后续应用GDS服务连通GaussDB,进行数据导入。 登录待安装GDS的数据服务器192.168.0.90,创建用户gds_user及其所属的用户组gdsgrp。此用户用于启动GDS,且需要拥有读取数据源文件目录的权限。 groupadd
以UTF-8无BOM格式编码”。 选择“文件 > 另存为”。 在弹出的对话框中输入文件名后,单击“保存”。 出于标识的目的,输入文件名的时候,建议将文件后缀设为.csv。 将数据源文件上传至数据服务器 登录用于存放数据源文件的服务器(又称数据服务器或GDS服务器)192.168.0.90。 创建数据文件存放目录“/input_data”。
先决条件 已准备好用于存放源数据的服务器,且此服务器可以与GaussDB正常通信。存放源数据的服务器拥有充足的系统资源(内存、磁盘空间、文件句柄等)。 获取驱动包 根据不同版本的实例,下载不同版本的发布包,如表1所示。 表1 驱动包下载列表 版本 下载地址 V2.0-8.x 驱动包
使用“kill”命令,停止GDS。其中128954为上一步骤中查询出的GDS进程号。 kill -9 128954 父主题: 教程:使用GDS从远端服务器导入数据
product_info_ext; 当结果显示为如下信息,则表示删除成功。 1 DROP FOREIGN TABLE 父主题: 教程:使用GDS从远端服务器导入数据
Go驱动环境搭建 环境类 Go环境配置 用户需要在环境变量中配置以下参数: GO111MODULE:用户使用在线导入的方式安装Go驱动时需要设置GO111MODULE为on。如果不希望进行go mod工程的改造,需将GO111MODULE设置为off,并手动下载依赖包。依赖包与驱动根目录和业务代码保持同级。
Go驱动环境搭建 环境类 Go环境配置 用户需要在环境变量中配置以下参数: GO111MODULE:用户使用在线导入的方式安装Go驱动时需要设置GO111MODULE为on。如果不希望进行go mod工程的改造,需将GO111MODULE设置为off,并手动下载依赖包。依赖包与驱动根目录和业务代码保持同级。
Go驱动环境搭建 环境类 Go环境配置 用户需要在环境变量中配置以下参数: GO111MODULE:用户使用在线导入的方式安装Go驱动时需要设置GO111MODULE为on。如果不希望进行Go mod工程的改造,需将GO111MODULE设置为off,并手动下载依赖包。依赖包与驱动根目录和业务代码保持同级。
Go驱动环境搭建 环境类 Go环境配置 用户需要在环境变量中配置以下参数: GO111MODULE:用户使用在线导入的方式安装Go驱动时需要设置GO111MODULE为on。如果不希望进行go mod工程的改造,需将GO111MODULE设置为off,并手动下载依赖包。依赖包与驱动根目录和业务代码保持同级。
查询结果显示结果如下,表示导入成功。 1 2 3 4 count ------- 20 (1 row) 父主题: 教程:使用GDS从远端服务器导入数据
无需修改,即固定设为gsmpp_server。 LOCATION gsfs://192.168.0.90:5000/* 数据源文件位置。 若使用SSL加密传输时,请使用gsfss协议。即为gsfss://192.168.0.90:5000/* FORMAT CSV 数据源文件格式。 ENCODING UTF-8
on表示备机catchup时用增量catchup方式,即从备本地数据文件扫描获得主备差异数据文件列表,进行主备之间的catchup。 off表示备机catchup时用全量catchup方式,即从主机本地所有数据文件扫描获得主备差异数据文件列表,进行主备之间的catchup。 默认值:on wait_dummy_time
在一个包含了主机、备机的数据库实例中,主机相对于备机是发送端,备机相对于主机是接收端。 发送端主动向接收端同步配置文件、接收端请求发送端同步配置文件是两个独立的事件,均会使得配置文件同步。若不希望配置文件同步,则需要在接收端配置为none_node,发送端若为备机只能配置为none_node,发送端
更新表product_info的统计信息。 1 openGauss=# ANALYZE product_info; ANALYZE 父主题: 教程:使用GDS从远端服务器导入数据
参数说明:开启极致RTO功能后,备机读相关文件触发强制回收的比例。当base page文件总大小超过max_standby_base_page_size* standby_force_recycle_ratio,或者lsn info文件总大小超过max_standby_lsn_info_size*
源数据文件product_info2.csv中第2条记录的最后一个字段“product_comment_content”缺失。 源数据文件product_info2.csv中第3条记录比外表定义列数多。 更多关于错误表及错误信息的处理请参见处理错误表。 父主题: 教程:使用GDS从远端服务器导入数据
on表示备机catchup时用增量catchup方式,即从从备本地数据文件扫描获得主备差异数据文件列表,进行主备之间的catchup。 off表示备机catchup时用全量catchup方式,即从主机本地所有数据文件扫描获得主备差异数据文件列表,进行主备之间的catchup。 默认值:on wait_dummy_time
参数说明:开启极致RTO功能后,备机读相关文件触发强制回收的比例。当base page文件总大小超过max_standby_base_page_size* standby_force_recycle_ratio,或者lsn info文件总大小超过max_standby_lsn_info_size*