检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并行导入将存储在服务器普通文件系统中的数据导入到GaussDB(DWS)数据库中。暂时不支持将存储在HDFS文件系统上的数据导入GaussDB(DWS)。 并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件,利用多DN并行的方式,将数据从数据源文件导入到数据库中,从而提高整体导入性能。如图1所示:
-D:后台运行GDS。仅支持Linux操作系统下使用。 -t worker_num:设置GDS并发线程数。GaussDB(DWS)及数据服务器上的I/O资源均充足时,可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务
大多数运行时参数都可以用SET在运行时设置,但有些则在服务运行过程中或会话开始之后不能修改。 语法格式 设置所处的时区。 1 SET [ SESSION | LOCAL ] TIME ZONE { timezone | LOCAL | DEFAULT }; 设置所属的模式。 1 2 3 SET
-D:后台运行GDS。仅支持Linux操作系统下使用。 -t worker_num:设置GDS并发线程数。GaussDB(DWS)及数据服务器上的I/O资源均充足时,可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务
据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory max_process_memory设置单个CN/DN可用的最大物理内存。
据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory max_process_memory设置单个CN/DN可用的最大物理内存。
SQL历史脚本未加密。 “历史执行SQL”对话框显示的查询数取决于“首选项 > 编辑器 > SQL历史记录”中设置的值。有关如何设置SQL历史查询数,请参见表1。查询数超过列表设置的值后,新执行的查询会覆盖较早的SQL历史查询。执行的查询会自动存储在列表中。 “历史执行SQL”对话框包含如下列:
0,同时其他开销参数以它为基准设置。也可以使用其他基准,比如以毫秒计的实际执行时间。 seq_page_cost 参数说明:设置优化器计算一次顺序磁盘页面抓取的开销。 参数类型:USERSET 取值范围:浮点型,0~10000。 默认值:1 random_page_cost 参数说明:设置优化器计算一次非顺序抓取磁盘页面的开销。
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据
DITADMIN属性的更多信息请参考CREATE ROLE。 三权分立后,系统管理员只会对自己作为所有者的对象有权限。 三权分立的设置办法请参考设置GaussDB(DWS)集群三权分立章节。 三权分立前的权限详情及三权分立后的权限变化,请分别参见表1和表2。 表1 默认的用户权限
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
通信库参数 本节介绍通信库相关的参数设置及取值范围等内容。 tcp_keepalives_idle 参数说明:在支持TCP_KEEPIDLE套接字选项的系统上,设置发送活跃信号的间隔秒数。不设置发送保持活跃信号,连接就会处于闲置状态。 参数类型:USERSET 如果操作系统不支持TCP_KEEPIDLE选项
创建弹性云服务器ECS 参考《弹性云服务器用户指南》创建弹性云服务器,创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大,以TPC-DS 1000X和TPC-H 1000X为例,分别占用930GB和1100GB。请创建弹性云服务器时,根据需求添加数据盘,举例如下:
例如:在MySQL兼容模式下导入(导出)的数据,同样需要在MySQL兼容模式下才能正确导出(导入)。 概述 通过外表导出数据:通过GDS外表设置的导出模式、导出数据格式等信息来指定待导出的数据文件,利用多DN并行的方式,将数据从数据库导出到数据文件中,从而提高整体导出性能。不支持直接导出文件到HDFS文件系统。
0;默认值:5。 设置是否将以保存数据加密为自动保存结果。 设置导入表数据显示和导入文件数据限制。 结果管理 查询结果 设置结果获取量:获取所有结果或指定数量的记录。 设置列宽。 内容长度:根据列的内容长度设置列的宽度。 自定义长度:根据网络模式下的取值长度设置列的最小宽度,单位为像素。
取值范围:true/on,false/off。 参数为true/on,当数据导入时,若数据源文件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。 参数为false/off,如果最后一个字段缺失会显示如下错误信息。 missing data for column "tt"
0,同时其他开销参数以它为基准设置。也可以使用其他基准,比如以毫秒计的实际执行时间。 seq_page_cost 参数说明:设置优化器计算一次顺序磁盘页面抓取的开销。 参数类型:USERSET 取值范围:浮点型,0~DBL_MAX。 默认值:1 random_page_cost 参数说明:设置优化器计算一次非顺序抓取磁盘页面的开销。
BLE,如果设置了serializable,实际上使用的是repeatable read。 默认值:read committed transaction_read_only 参数说明:设置当前事务是只读事务。 参数类型:USERSET 取值范围:布尔型 on表示设置当前事务为只读事务。
参数说明:控制优化器在多Node Group环境下,是否使用强制弹性计算。Node Group目前为内部用机制,用户无需设置。 该参数只在expected_computing_nodegroup被设置为具体Node Group时生效。 参数类型:USERSET 取值范围:布尔型 on表示强制将计算弹
无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET | DROP ] option ['value']}[, ... ]); 设置新的所有者 1 2