检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Service)工具将远端服务器上的数据导入GaussDB中的办法,帮助您学习如何通过GDS进行数据导入的方法。 在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表,用于对接GDS和GaussDB,及将数据服务器上的数据引流到GaussDB集群中。
安装配置和启动GDS GDS是GaussDB提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。根据导出作业的相关负载,检查GDS所在服务器与GaussDB集群的各物理集群相连通,并且上有充足的内存、句柄、磁盘空间等系统资源。详细内容请参见安装配置和启动GDS。 父主题:
步骤7:停止GDS 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。其中GDS进程号为128954。 ps -ef|grep gds gds_user 128954
先决条件 已准备好用于存放源数据的服务器,且此服务器可以与GaussDB正常通信。存放源数据的服务器拥有充足的系统资源(内存、磁盘空间、文件句柄等)。 获取驱动包 根据不同版本的实例,下载不同版本的发布包,如表1所示。 表1 驱动包下载列表 版本 下载地址 V2.0-8.x 驱动包
在弹出的对话框中输入文件名后,单击“保存”。 出于标识的目的,输入文件名的时候,建议将文件后缀设为.csv。 将数据源文件上传至数据服务器 登录用于存放数据源文件的服务器(又称数据服务器或GDS服务器)192.168.0.90。 创建数据文件存放目录“/input_data”。 mkdir -p /input_data
product_info_ext; 当结果显示为如下信息,则表示删除成功。 1 DROP FOREIGN TABLE 父主题: 教程:使用GDS从远端服务器导入数据
product_info_err; 处理错误表中的错误信息。 按照本教程的示例操作,错误表中应该无错误信息。 您也可以将步骤2:在数据服务器上安装配置和启动GDS一节所建外表中的FILL_MISSING_FIELDS和IGNORE_EXTRA_DATA改为'false'后,重新进行
查询结果显示结果如下,表示导入成功。 1 2 3 4 count ------- 20 (1 row) 父主题: 教程:使用GDS从远端服务器导入数据
更新表product_info的统计信息。 1 openGauss=# ANALYZE product_info; ANALYZE 父主题: 教程:使用GDS从远端服务器导入数据
异常数据的场景。 迁移准备 准备弹性云服务器或可通过公网访问GaussDB。 通过弹性云服务器连接GaussDB数据库实例,需要创建一台弹性云服务器。 创建并登录弹性云服务器,请参见《弹性云服务器快速入门》中“购买弹性云服务器”和“登录弹性云服务器”。 通过公网地址连接GaussDB数据库实例,需具备以下条件。
GaussDB华为云帮助中心地址切换 背景 云数据库 GaussDB的产品简称是gaussdb,为了保持文档和产品的统一,计划将原云数据库 GaussDB文档的访问地址中的“opengauss”修改为“gaussdb”。 时间 预计2023年11月2日正式切换为新URL地址(关键字为“gaussdb”)。
Linux下配置数据源 将GaussDB提供的ODBC DRIVER(psqlodbcw.so)配置到数据源中便可使用。配置数据源需要配置“odbc.ini”和“odbcinst.ini”两个文件(在编译安装unixODBC过程中生成且默认放在“/usr/local/etc”目录下),并在服务器端进行配置。
OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据
directory 此问题的可能原因: 配置了错误的/不可达的数据库地址,或者端口 请检查数据源配置中的Servername及Port配置项。 服务器侦听不正确 如果确认Servername及Port配置正确,请根据“操作步骤”中数据库服务器的相关配置,确保数据库侦听了合适的网卡及端口。
表,获取详细的错误信息。 完整的选项说明请见 CREATE FOREIGN TABLE (导入导出)。 父主题: 教程:使用GDS从远端服务器导入数据
OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。 表1 PG_FOREIGN_SERVER字段 名称 类型 引用 描述 oid oid - 行标识符(隐含字段,必须明确选择)。
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。 表1 PG_FOREIGN_SERVER字段 名称 类型 引用 描述 oid oid - 行标识符(隐含属性,必须明确选择)。
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。 表1 PG_FOREIGN_SERVER字段 名称 类型 引用 描述 oid oid - 行标识符(隐含字段,必须明确选择)。
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。 表1 PG_FOREIGN_SERVER字段 名称 类型 引用 描述 oid oid - 行标识符(隐含属性,必须明确选择)。