检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数
平台和客户端兼容性 很多平台都使用数据库系统,数据库系统的对外兼容性给平台提供了很大的方便。 transform_null_equals 参数说明:控制表达式expr = NULL(或NULL = expr)当做expr IS NULL处理。如果expr得出NULL值则返回真,否则返回假。
到应用或客户端的导入SQL指令后,负责任务的规划及下发到DN。 DN(Datanode):GaussDB(DWS)数据节点。接收CN下发的导入任务,将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件:存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器:数据源
eol:确认数据文件中,行间的换行符。例如,默认的换行符,如0x0D0A、0X0A,或者自定义的换行符,如字符串!@#。该参数仅支持TEXT格式导入。 外表可识别的其他更多格式信息请参见数据格式参数。 需要收集的GDS服务的访问信息如下: location:GDS服务的访问地址。例如以安装配置
time zone 出现数据格式错误的时间。 filename character varying 出现数据格式错误的数据源文件名。 当GDS导入时,同时会包括对应GDS服务端的IP地址端口信息。 rownum bigint 在数据源文件中,出现数据格式错误的行号。 rawrecord text
是库中并无原数据库的数据。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),将客户端工具上传到一个待安装gsql的Linux主机上。 执行上传gsql操作的用户需要对客户端主机的目标存放目录有完全控制权限。
调整策略如下: 调大CN的max_connections会造成并发连接到DN的查询变多,所以需要同步调大DN的max_connections和comm_max_stream。 CN/DN的max_connections一般按照原来的2倍调大,原值比较小的集群可以调节到4倍。 为避
适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件,该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。 当用户导出前需要清洗数据时:
义等。 使用导出的对象定义,可以快速创建一个相同的数据库,但是库中并无原数据库的数据。 仅导出数据,不包含所有对象定义。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),将客户端工具上传到一个待安装gsql的Linux主机上。
通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。 操作步骤
-a查看当前系统支持的区域和相应的编码格式,并可以选择进行设置。 默认情况下,gs_initdb会根据当前的系统环境初始化此参数,通过locale命令可以查看当前的配置环境。 默认值:C lc_monetary 参数说明:设置货币值的显示格式,影响to_char之类的函数的输出。可接受的值是系统相关的。
使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用户组。此用户为启动GDS的用户,该用户需要拥有导出数据文件存放目录的写权限。
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
PG_DESCRIPTION PG_DESCRIPTION系统表可以给每个数据库对象存储一个可选的描述(注释)。许多内置的系统对象的描述提供了PG_DESCRIPTION的初始内容。 这个表的功能类似PG_SHDESCRIPTION,用于记录整个集群范围内共享对象的注释。 表1 PG_DESCRIPTION字段
以root用户登录每台GDS数据服务器,在两台数据服务器上,分别创建数据文件存放目录“/input_data”。以下以IP为192.168.0.90的数据服务器为例进行操作,剩余服务器上的操作与它一致。 mkdir -p /input_data (可选)创建用户及其所属的用户组。此用户用于启
往GaussDB(DWS)写数据慢,客户端数据会有积压 问题现象 客户端往GaussDB(DWS)写入数据较慢,客户端数据会有积压。 原因分析 如果通过单条INSERT INTO语句的方式单并发写数据入库,客户端很可能会出现瓶颈。INSERT是最简单的一种数据写入方式,适合数据写入量不大,并发度不高的场景。 处理方法
要在新建的安全组中添加一条入规则,开放GaussDB(DWS)集群的数据库端口的访问权限。 协议:TCP。 端口范围:8000。指定为创建GaussDB(DWS)集群时设置的数据库端口,这个端口是GaussDB(DWS)用于接收客户端连接的端口。 源地址:选中“IP地址”,然后指定为客户端主机的IP地址,例如“192
关案例请参见多线程导入。 在资源许可的情况下,多台GDS服务器并发导入会很大程度上提高数据导入效率。相关案例请参见多数据服务器并行导入。 对于高并发的GDS导入场景,为了保持GDS和DN间的数据连接稳定,可以将GDS服务器环境和DN所在环境的TCP Keepalive检测时间增长
log_min_messages 参数说明:控制写到服务器日志文件中的消息级别。每个级别都包含排在它后面的所有级别中的信息。级别越低,服务器运行日志中记录的消息就越少。 当client_min_messages和log_min_messages取值相同时,其值所代表的级别不同。 参数类型:SUSET
log_min_messages 参数说明:控制写到服务器日志文件中的消息级别。每个级别都包含排在它后面的所有级别中的信息。级别越低,服务器运行日志中记录的消息就越少。 当client_min_messages和log_min_messages取值相同时,其值所代表的级别不同。 参数类型:SUSET