检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题： 导入数据
创建弹性云服务器ECS 参考《弹性云服务器用户指南》创建弹性云服务器，创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大，以TPC-DS 1000X和TPC-H 1000X为例，分别占用930GB和1100GB。请创建弹性云服务器时，根据需求添加数据盘，举例如下：
在数据库中创建外表foreign_tpcds_reasons用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示： 由于启动GDS时，设置的导出数据文件存放目录为“/output_data/”，GDS监听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参
准备源数据 操作场景 通常在将数据导入数据库前，即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时，只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信，并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪，则请先参考如下步骤，将数据上传到数据服务器上。
GDS是GaussDB(DWS)提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。 当不在使用GDS时，可通过以下步骤停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式，选择停止GDS的方式。 若用户使用“gds”命令启动GDS，请使用以下方式停止GDS。
使用GDS从集群导出到数据之前，要提前准备需要导出的数据，并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器，创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data （可选）创建用户及所属的用户组。此用户为启动GDS的用户，该用户需要拥有导出数据文件存放目录的写权限。
停止GDS 操作场景 待导入数据成功后，停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式，选择停止GDS的方式。 若用户使用“gds”命令启动GDS，请使用以下方式停止GDS。 执行如下命令，查询GDS进程号。 ps -ef|grep
Service）工具将远端服务器上的数据导入GaussDB(DWS)中的过程，帮助您学习如何通过GDS进行数据导入的方法。 GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 在本教程中，您将： 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。
将hdfs上的数据写入到管道文件而不需要占用额外的磁盘空间。 当用户导入前需要清洗数据时，用户可以根据自己的需求编写程序，将需要处理的数据流式实时的写入管道文件，完成导入的数据清洗工作。 当前版本暂不支持SSL模式下GDS导入，请勿以SSL方式使用GDS。 本章涉及的所有管道文件都是指Linux上的命名管道。
务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器，创建存放GDS工具包的目录。 mkdir -p /opt/bin/dws 将GDS工具包上传至上一步所创建的目录中。 以上传SUSE Linux版本的工具包为例 ，将GDS工具包“dws_client_8
数据源文件中的列数比外表定义的列数少。 对于TEXT格式的数据源文件，由于转义字符（\）导致delimiter（分隔符）错位或者quote（引号字符）错位造成的错误。 示例：目标表存在3列字段，导入的数据如下所示。由于存在转义字符“\”，分隔符“|”被转义为第二个字段的字段值，导致第三个字段值缺失。
关案例请参见多线程导入。 在资源许可的情况下，多台GDS服务器并发导入会很大程度上提高数据导入效率。相关案例请参见多数据服务器并行导入。 对于高并发的GDS导入场景，为了保持GDS和DN间的数据连接稳定，可以将GDS服务器环境和DN所在环境的TCP Keepalive检测时间增长
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法： 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本，实现并发批量导出数
)软件包解压缩自带的GDS进行安装配置和启动。在导入导出开始时，GaussDB(DWS)也会进行两端的版本一致性检测，不一致时会在屏幕上显示报错信息并终止对应操作。 GDS的版本号的查看办法为：在GDS工具的解压目录下执行如下命令。 gds -V 数据库版本的查看办法为：连接数据库后，执行如下SQL命令查看。
梳理待导出数据的格式信息，确定创建外表时使用的数据格式参数的值。 根据前面步骤确定的参数，创建GDS外表。 示例 示例：创建GDS导出外表foreign_tpcds_reasons，待导出数据格式为CSV，用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示： 规划数据服务器与集群处于同一内网，数据服务器IP为192
eol：确认数据文件中，行间的换行符。例如，默认的换行符，如0x0D0A、0X0A，或者自定义的换行符，如字符串!@#。该参数仅支持TEXT格式导入。 外表可识别的其他更多格式信息请参见数据格式参数。 需要收集的GDS服务的访问信息如下： location：GDS服务的访问地址。例如以安装
使用GDS工具将数据从数据库导出到普通文件系统中，适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件，该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时： 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。 当用户导出前需要清洗数据时：
创建弹性云服务器ECS和数据仓库GaussDB(DWS) 创建弹性云服务器ECS 创建数据仓库GaussDB(DWS) 父主题： 测试方法
调整策略如下： 调大CN的max_connections会造成并发连接到DN的查询变多，所以需要同步调大DN的max_connections和comm_max_stream。 CN/DN的max_connections一般按照原来的2倍调大，原值比较小的集群可以调节到4倍。 为避
用于协同分析、跨集群互联互通，表示将要连接的远端集群的数据库名字。 username 用于协同分析、跨集群互联互通，表示将要连接的远端集群的用户名。 password 用于协同分析、跨集群互联互通，表示将要连接的远端集群的用户名密码。 syncsrv 仅用于跨集群互联互通，表示数据同步过程中使用到的GDS服务，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
