云服务器内容精选
-
导入流程 图3 并行导入流程 表2 流程说明 流程 说明 准备源数据 准备需要导入数据库的源数据文件，并上传至数据服务器。 详细内容请参见准备源数据。 启动GDS 在数据服务器上安装配置并启动GDS。 详细内容请参见安装配置和启动GDS。 创建外表 创建外表用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。 详细内容请参见创建GDS外表。 执行导入数据 在创建好外表后，通过INSERT语句，将数据快速、高效地导入到目标表中。详细内容请参见执行导入数据。 处理错误表 在数据并行导入发生错误时，请根据具体的错误信息进行处理，以保证导入数据的完整性。 详细内容请参见处理错误表。 优化查询效率 导入数据后，通过ANALYZE语句生成表统计信息。ANALYZE语句会将统计结果自动存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据，以生成最有效的查询执行计划。 详细内容请参见分析表。 停止GDS 待数据导入完成后，登录每台数据服务器，分别停止GDS。 GDS的停止请参见停止GDS。
-
GDS并发导入 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。如图2所示。 图2 多数据服务器并行导入 GDS进程数目不能超过DN数目。如果超过，会出现一个DN连接多个GDS进程的情形，可能会导致部分GDS异常运行，并有可能出现“Session doesn't exists”报错。若参与某次导入的GDS数量大于DN数量，则在导入执行开始时，会返回“It is recommanded that the number of GDS should not be greater than the number of datanode”的warning。 数据存储在一台数据服务器上时，如果 GaussDB 及数据服务器上的I/O资源均还有可利用空间时，可以采用GDS多线程来支持并发导入。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程，也并不会加速单个导入事务。未做过人为事务处理时，一条INSERT语句就是一个导入事务。 综上，多线程的使用场景如下： 多表并发导入时，采用多线程充分利用资源及提升并发导入效率。 对数据量大的某一数据表的导入进行提速。 将该数据表对应的数据拆分为多个数据文件，通过多外表同时入库的方式实现多线程并发导入。注意需确保每个外表所能读取的数据文件不重复。
-
概述 并行导入将存储在服务器普通文件系统中的数据导入到 GaussDB数据库 中。 并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件，利用多DN并行的方式，将数据从数据源文件导入到数据库中，从而提高整体导入性能。如图1所示： CN只负责任务的规划及下发，把数据导入的工作交给了DN，释放了CN的资源，使其有能力处理其他外部请求。 所有DN都参与数据导入，这样可以充分利用各设备的计算能力及网络带宽，提升导入效率。 外表灵活的OPTION设置，有利于在数据入库前对数据做预处理，例如非法字符替换、容错处理等。更多信息请参考CREATE FOREIGN TABLE (导入导出)。 图1 数据并行导入示意图 上图中所涉及的相关概念说明如下： CN（Coordinator Node）：GaussDB协调节点。在导入场景下，接收到应用或客户端的导入SQL指令后，负责任务的规划及下发到DN。 DN（Data Node）：GaussDB数据节点。接收CN下发的导入任务，将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件：存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器：数据源文件所在的服务器称为数据服务器。基于安全考虑，建议数据服务器和GaussDB集群处于同一内网。 外表Foreign Table：用于识别数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。是关联数据文件与数据库实表（目标表）的对象。 目标表：数据库中的实表。数据源文件中的数据最终导入到这些表中存储，包括行存表和列存表。
-
操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下： format：GDS外表导入支持 CS V、TEXT和FIXED格式。请确认存放在数据服务器上待入库数据的格式。例如，假设待入库的数据为CSV格式。 header（仅支持CSV,FIXED格式）：确认数据文件是否包含标题行。 delimiter：确认数据文件中，字段间的分隔符。例如，假设是以英文逗号分隔的。 encoding：数据源文件的数据编码格式。例如，假设为UTF-8。 eol：确认数据文件中，行间的换行符。例如，默认的换行符，如0x0D0A、0X0A，或者自定义的换行符，如字符串!@#。该参数仅支持TEXT格式导入。 外表可识别的其他更多格式信息请参见数据格式参数。 需要收集的GDS服务的访问信息如下： location：GDS服务的访问地址。例如以安装配置和启动GDS中的GDS信息为例。非SSL模式下的location为：gsfs://192.168.0.90:5000/input_data/ 。SSL模式下的location为：gsfss://192.168.0.90:5000/input_data/ 。其中，“192.168.0.90:5000”为GDS服务的IP及端口号；“input_data”为GDS服务管理的数据源文件所在的路径。请根据实际情况替换。 依据数据源文件中的数据情况，设计导入容错机制。 GaussDB支持如下的数据容错性处理，相当于数据入库前对数据做初步的简单清洗。 fill_missing_fields：数据入库时，数据源文件中某行的最后一个字段缺失时，请选择是直接将字段设为Null，还是在错误表中报错提示。 ignore_extra_data：数据源文件中的字段比外表定义列数多时，请选择是忽略多出的列，还是在错误表中报错提示。 per node reject_limit：本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量。如果有一个DN实例上录入错误表中的错误数量超过设定值时，本次导入失败，报错退出。可以选择不做限制，也可以根据所能容忍的错误数量选择一个上限值。 compatible_illegal_chars：导入时遇到非法字符，选择如何处理。是将非法字符按照转换规则转换后入库，还是报错中止导入。 非法字符容错转换规则如下： 对于'\0'，容错后转换为空格。 对于其他非法字符，容错后转换为问号。 对非法字符进行容错转换时，如遇NULL、DELIMITER、QUOTE、ESCAPE也设置成了空格或问号，GaussDB会通过如"illegal chars conversion may confuse COPY escape 0x20"等报错信息提示用户修改可能引起混淆的参数以避免导入错误。 error_table_name：用于记录数据格式错误信息的错误表表名。并行导入结束后查询此错误信息表，能够获取详细的错误信息。 remote log 'name'：数据导入过程中的数据格式错误信息是否同时在GDS服务器上以文件方式保存。name为错误数据文件的文件名前缀。 关于容错性参数的更多信息请参考容错性参数。 使用gsql连接数据库后，根据前面步骤所收集和规划的信息参数，创建GDS外表。 示例如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS ( LOCATION 'gsfs://192.168.0.90:5000/input_data | gsfs://192.168.0.91:5000/input_data', FORMAT 'CSV' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' ) LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited'; 示例中的各项说明如下： 外表字段需与数据库中即将存储数据的目标表保持一致。 对于GDS导入，SERVER gsmpp_server请保持不变。 location参数请根据1中收集的GDS服务访问信息修改。注意GDS使用SSL加密传输时，需要将“gsfs”替换为“gsfss”。 FORMAT、DELIMITER、ENCODING、HEADER请根据1中收集的数据源格式信息填写。 FILL_MISSING_FIELDS、IGNORE_EXTRA_DATA、LOG INTO及PER NODE REJECT LIMIT请根据2中设计的导入容错机制填写。注意LOG INTO是指将数据格式错误录入哪个错误表，即其取值为错误表表名。 CREATE FOREIGN TABLE语法的更多信息，请参考CREATE FOREIGN TABLE (导入导出)。
-
任务示例 除了以下示例，更多外表创建的示例请参考示例。 示例1：创建GDS外表foreign_tpcds_reasons，数据格式为CSV。 1 2 3 4 5 6 7 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'CSV',MODE 'Normal', ENCODING 'utf8', DELIMITER E'\x08', QUOTE E'\x1b', NULL ''); 示例2：创建GDS导入外表foreign_tpcds_reasons_SSL，使用SSL加密传输的模式传输，数据格式为CSV。 1 2 3 4 5 6 7 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons_SSL ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfss://192.168.0.90:5000/* | gsfss://192.168.0.91:5000/*', FORMAT 'CSV',MODE 'Normal', ENCODING 'utf8', DELIMITER E'\x08', QUOTE E'\x1b', NULL ''); 示例3：创建GDS外表foreign_tpcds_reasons，数据格式为TEXT。 1 2 3 4 5 6 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'TEXT', delimiter E'\x08', null '',reject_limit '2',EOL '0x0D') WITH err_foreign_tpcds_reasons; 示例4：创建GDS外表foreign_tpcds_reasons，数据格式为FIXED。 1 2 3 4 5 6 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer position(1,2), r_reason_id char(16) position(3,16), r_reason_desc char(100) position(19,100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/*', FORMAT 'FIXED', ENCODING 'utf8',FIX '119');
-
背景信息 GDS支持在x86/ARM平台如下的操作系统中安装：EulerOS 2.5/2.8。 GDS的版本需与集群版本保持一致，否则可能会出现导入导出失败或导入导出进程停止响应等情况。 因此请勿使用历史版本的GDS进行导入。数据库版本升级后，请按照操作步骤中的办法下载新版本的GDS进行安装配置和启动。在导入导出开始时，GaussDB也会进行两端的版本一致性检测，不一致时会打屏显示报错信息并终止对应操作。 GDS的版本号的查看办法为：在GDS工具的解压目录下执行如下命令。 gds -V 数据库版本的查看办法为：连接数据库后，执行如下SQL命令查看。 1 SELECT version();
-
gds.conf参数说明 表1 gds.conf配置说明 属性 说明 取值范围 name 标识名。 - ip 侦听ip地址。 IP需为合法IP地址。 IP的默认值：127.0.0.1 port 侦听端口号。 取值范围：1024~65535，正整数。 默认值：8098。 data_dir 数据文件目录。 - err_dir 错误日志文件目录。 默认值：数据文件目录 log_file 日志文件路径。 - host 设置允许连接到GDS的主机IP地址（参数为CIDR格式，仅支持linux系统）。 - recursive 是否递归数据文件目录。 取值范围： true：递归 。 false：不递归。 默认值：false。 daemon 是否以DAEMON（后台）模式运行。 取值范围： true：以DAEMON模式运行。 false：不以DAEMON模式运行。 默认值：false。 parallel 导入工作线程并发数目。 取值范围：0~32，正整数。 默认值：1。
-
概述 并行导入将存储在服务器普通文件系统中的数据导入到GaussDB数据库中。 并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件，利用多DN并行的方式，将数据从数据源文件导入到数据库中，从而提高整体导入性能。如图1所示： CN只负责任务的规划及下发，把数据导入的工作交给了DN，释放了CN的资源，使其有能力处理其他外部请求。 所有DN都参与数据导入，这样可以充分利用各设备的计算能力及网络带宽，提升导入效率。 外表灵活的OPTION设置，有利于在数据入库前对数据做预处理，例如非法字符替换、容错处理等。更多信息请参考CREATE FOREIGN TABLE (导入导出)。 图1 数据并行导入示意图 上图中所涉及的相关概念说明如下： CN（Coordinator Node）：GaussDB协调节点。在导入场景下，接收到应用或客户端的导入SQL指令后，负责任务的规划及下发到DN。 DN（Data Node）：GaussDB数据节点。接收CN下发的导入任务，将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件：存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器：数据源文件所在的服务器称为数据服务器。基于安全考虑，建议数据服务器和GaussDB集群处于同一内网。 外表Foreign Table：用于识别数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。是关联数据文件与数据库实表（目标表）的对象。 目标表：数据库中的实表。数据源文件中的数据最终导入到这些表中存储，包括行存表和列存表。
-
导入流程 图3 并行导入流程 表2 流程说明 流程 说明 准备源数据 准备需要导入数据库的源数据文件，并上传至数据服务器。 详细内容请参见准备源数据。 启动GDS 在数据服务器上安装配置并启动GDS。 详细内容请参见安装配置和启动GDS。 创建外表 创建外表用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。 详细内容请参见创建GDS外表。 执行导入数据 在创建好外表后，通过INSERT语句，将数据快速、高效地导入到目标表中。详细内容请参见执行导入数据。 处理错误表 在数据并行导入发生错误时，请根据具体的错误信息进行处理，以保证导入数据的完整性。 详细内容请参见处理错误表。 优化查询效率 导入数据后，通过ANALYZE语句生成表统计信息。ANALYZE语句会将统计结果自动存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据，以生成最有效的查询执行计划。 详细内容请参见分析表。 停止GDS 待数据导入完成后，登录每台数据服务器，分别停止GDS。 GDS的停止请参见停止GDS。
-
GDS并发导入 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。如图2所示。 图2 多数据服务器并行导入 GDS进程数目不能超过DN数目。如果超过，会出现一个DN连接多个GDS进程的情形，可能会导致部分GDS异常运行，并有可能出现“Session doesn't exists”报错。若参与某次导入的GDS数量大于DN数量，则在导入执行开始时，会返回“It is recommanded that the number of GDS should not be greater than the number of datanode”的warning。 数据存储在一台数据服务器上时，如果GaussDB及数据服务器上的I/O资源均还有可利用空间时，可以采用GDS多线程来支持并发导入。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程，也并不会加速单个导入事务。未做过人为事务处理时，一条INSERT语句就是一个导入事务。 综上，多线程的使用场景如下： 多表并发导入时，采用多线程充分利用资源及提升并发导入效率。 对数据量大的某一数据表的导入进行提速。 将该数据表对应的数据拆分为多个数据文件，通过多外表同时入库的方式实现多线程并发导入。注意需确保每个外表所能读取的数据文件不重复。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
