检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工作交给了DN,释放了CN的资源,使其有能力处理其他外部请求。 所有DN都参与数据导入,这样可以充分利用各设备的计算能力及网络带宽,提升导入效率。 外表灵活的OPTION设置,有利于在数据入库前对数据做预处理,例如非法字符替换、容错处理等。 图1 数据并行导入示意图 上图中所涉及的相关概念说明如下:
ns用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示: 由于启动GDS时,设置的导出数据文件存放目录为“/output_data/”,GDS监听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192
ion是否允许设置readonly模式,默认为false,若该参数不被设置为true,则执行connection.setReadOnly不生效。 blobMode:string类型,用于设置setBinaryStream方法为不同的数据类型赋值,设置为on时表示为blob数据类型
例如:在MySQL兼容模式下导入(导出)的数据,同样需要在MySQL兼容模式下才能正确导出(导入)。 概述 通过外表导出数据:通过GDS外表设置的导出模式、导出数据格式等信息来指定待导出的数据文件,利用多DN并行的方式,将数据从数据库导出到数据文件中,从而提高整体导出性能。不支持直接导出文件到HDFS文件系统。
xml_is_well_formed(text) 描述:检查text字符串是不是格式良好的XML值,返回布尔结果。如果xmloption参数设置为DOCUMENT则检查文档,如果设置为CONTENT则检查内容。 返回值类型:bool 示例: 1 2 3 4 5 6 7 8 9 10 11
xml_is_well_formed(text) 描述:检查text字符串是不是格式良好的XML值,返回布尔结果。如果xmloption参数设置为DOCUMENT则检查文档,如果设置为CONTENT则检查内容。 返回值类型:bool 示例: 1 2 3 4 5 6 7 8 9 10 11
xml_is_well_formed(text) 描述:检查text字符串是不是格式良好的XML值,返回布尔结果。如果xmloption参数设置为DOCUMENT则检查文档,如果设置为CONTENT则检查内容。 返回值类型:bool 示例: 1 2 3 4 5 6 7 8 9 10 11
创建订阅”。 在“订阅设置”区域,设置订阅基本信息及事件过滤。 “订阅事件列表”区域显示系统根据订阅设置筛选出的事件。 图1 订阅设置 表1 订阅参数 参数名 参数解释 是否开启 设置是否开启事件订阅。 关闭后停止发送已订阅事件的通知消息,不会删除该订阅。 订阅名称 设置订阅事件的名称。
据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory max_process_memory设置单个CN/DN可用的最大物理内存。
关于OBS并行导出 概述 GaussDB(DWS)数据库支持通过OBS外表并行导出数据:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在OBS对象存储服务器上,从而提高整体导出性能。
的流量总和。 参数类型:USERSET 参数建议保持默认设置,即禁用重协商机制。不建议通过gs_guc工具或其他方式直接在postgresql.conf文件中设置ssl_renegotiation_limit参数,即使设置也不会生效。 取值范围:整型,0~INT_MAX,单位为KB。其中0表示禁用重新协商机制。
的流量总和。 参数类型:USERSET 参数建议保持默认设置,即禁用重协商机制。不建议通过gs_guc工具或其他方式直接在postgresql.conf文件中设置ssl_renegotiation_limit参数,即使设置也不会生效。 取值范围:整型,0~INT_MAX,单位为KB。其中0表示禁用重新协商机制。
的流量总和。 参数类型:USERSET 参数建议保持默认设置,即禁用重协商机制。不建议通过gs_guc工具或其他方式直接在postgresql.conf文件中设置ssl_renegotiation_limit参数,即使设置也不会生效。 取值范围:整型,0~INT_MAX,单位为KB。其中0表示禁用重新协商机制。
-D:后台运行GDS。仅支持Linux操作系统下使用。 -t worker_num:设置GDS并发线程数。GaussDB(DWS)及数据服务器上的I/O资源均充足时,可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务
DITADMIN属性的更多信息请参考CREATE ROLE。 三权分立后,系统管理员只会对自己作为所有者的对象有权限。 三权分立的设置办法请参考设置GaussDB(DWS)集群三权分立章节。 三权分立前的权限详情及三权分立后的权限变化,请分别参见表1和表2。 表1 默认的用户权限
控制优化器使用的排序步骤。该设置不可能完全消除明确的排序,但是关闭这个变量可以让优化器在存在其他方法的时候优先选择其他方法。 enable_broadcast=on 控制查询优化器对于broadcast广播模式数据传输的使用。此方式网络传输数据量较大,因此当网络传输节点(Stream)实
0;默认值:5。 设置是否将以保存数据加密为自动保存结果。 设置导入表数据显示和导入文件数据限制。 结果管理 查询结果 设置结果获取量:获取所有结果或指定数量的记录。 设置列宽。 内容长度:根据列的内容长度设置列的宽度。 自定义长度:根据网络模式下的取值长度设置列的最小宽度,单位
BLE,如果设置了serializable,实际上使用的是repeatable read。 默认值:read committed transaction_read_only 参数说明:设置当前事务是只读事务。 参数类型:USERSET 取值范围:布尔型 on表示设置当前事务为只读事务。
e为OBS时设置。默认值为off。 取值范围: on表示对数据进行加密。 off表示不对数据进行加密。 access_key OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 secret_access_key
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据