检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
出现数据格式错误的时间。 filename character varying 出现数据格式错误的数据源文件名。 当GDS导入时,同时会包括对应GDS服务端的IP地址端口信息。 rownum bigint 在数据源文件中,出现数据格式错误的行号。 rawrecord text 在数据源文件中,出现数据格式错误的原始记录。
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数
安全和认证(postgresql.conf) 介绍设置客户端和服务器的安全认证方式的相关参数。 session_timeout 参数说明:表明与服务器建立连接后,不进行任何操作的最长时间。 参数类型:USERSET 取值范围:整型,0-86400,最小单位为秒(s),0表示关闭超时设置。 默认值:10min GaussDB(DWS)
安全和认证(postgresql.conf) 介绍设置客户端和服务器的安全认证方式的相关参数。 session_timeout 参数说明:表明与服务器建立连接后,不进行任何操作的最长时间。 参数类型:USERSET 取值范围:整型,0-86400,最小单位为秒(s),0表示关闭超时设置。 默认值:10min GaussDB(DWS)
检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在
示例:创建GDS导出外表foreign_tpcds_reasons,待导出数据格式为CSV,用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示: 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,待导出的数据文件格式为CSV,选择并行导出模式为Remote模式。
准备ECS作为GDS服务器 购买Linux弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的自定义购买弹性云服务器。购买后,请参见登录Linux弹性云服务器进行登录。 ECS操作系统必须是GDS工具包所支持的操作系统。 ECS与DWS处于同一区域、同一虚拟私有云和子网。 ECS安全组规则需放通DWS集群的访问,即安全组入规则:
使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用户
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
创建GDS外表 外表中配置了数据源格式信息、GDS服务的访问信息,从而GaussDB(DWS)最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下: format:GDS外表导入支持CSV
数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。如图2所示。 图2 多数据服务器并行导入 GDS进程数目不能超过DN数目。如果超过,会出现一个DN连接多个GDS进程的情形,可能会导致部分GDS异常运行。 数据存储在一台数据服务器上时,如
GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,本节以一台服务器为例进行说明。
删除自动快照 自动快照不支持手动删除,仅GaussDB(DWS)系统能够删除自动快照。 GaussDB(DWS)会在如下情况下删除自动快照: 自动快照保留期结束。 删除集群。 为防止用户误执行删除集群操作,GaussDB(DWS)将提供以下策略(该功能仅在8.2.0及以上集群版本支持):
停止GDS GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 当不在使用GDS时,可通过以下步骤停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“g
e模式。 Remote模式:将集群中的业务数据导出到集群之外的主机上。 支持多个GDS服务并发导出,但1个GDS在同一时刻,只能为1个集群提供导出服务。 配置与集群节点处于统一内网的GDS服务,导出速率受网络带宽影响,推荐的网络配置为10GE。 支持数据文件格式:TEXT、CSV和FIXED。单行数据大小需<1GB。
SQLSTATE: 22021 错误原因:待转换的字符是一个非法的多字节字符。该字符是符合服务器locale的,但是服务器设置的LC_CTYPE locale与数据库的字符编码不兼容。 解决办法:服务器设置的locale与数据库字符编码不兼容,请重新设置服务器的locale。 GAUSS-03322:
复制自动快照 用户可以对自动快照进行复制,生成手动快照以便长期保留。 复制自动快照 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,选择“管理 > 快照管理”。 默认显示用户所有的快照。用户可以对自动快照进行复制。 在快照列表中,在需要复制快照所对应的“操作”列,单击“更多
service." SQLSTATE: 无 错误原因:获取THP服务信息失败。 解决办法:检查THP文件是否存在。 GAUSS-51002:"Failed to close THP service." SQLSTATE: 无 错误原因:关闭THP服务失败。 解决办法:检查THP文件是否存在。
自动快照 自动快照概述 设置自动快照策略 复制自动快照 删除自动快照 父主题: 备份与恢复GaussDB(DWS)集群
SQL语句出错自动重试 GaussDB(DWS)支持在SQL语句执行出错时自动重试(下文简称CN Retry)。对于来自gsql客户端、JDBC、ODBC驱动的SQL语句,在SQL语句执行失败时,CN端能够自动识别语句执行过程中的报错,并重新下发任务进行自动重试。 该功能的限制和约束如下: