检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据
并行导入将存储在服务器普通文件系统中的数据导入到GaussDB(DWS)数据库中。暂时不支持将存储在HDFS文件系统上的数据导入GaussDB(DWS)。 并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件,利用多DN并行的方式,将数据从数据源文件导入到数据库中,从而提高整体导入性能。如图1所示:
添加快照策略 功能介绍 该接口用于设置快照策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/clusters/{cluster_id}/snapshot-policies 表1 路径参数 参数 是否必选 参数类型 描述 project_id
-D:后台运行GDS。仅支持Linux操作系统下使用。 -t worker_num:设置GDS并发线程数。GaussDB(DWS)及数据服务器上的I/O资源均充足时,可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
场景三:MRS与DWS不在一个区域,需要通过“云连接(CC)”打通网络,请参见对应服务的用户指南。 场景四:MRS属于云下场景,需要通过“云专线(DC)”或“虚拟专用网络(VPN)”打通网络,请参见对应服务的用户指南。 从MRS导入数据到集群的流程 MRS集群上的数据准备 (可选)手动创建外部服务器 创建外表
-D:后台运行GDS。仅支持Linux操作系统下使用。 -t worker_num:设置GDS并发线程数。GaussDB(DWS)及数据服务器上的I/O资源均充足时,可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务
SQL调优性能的关键CN配置参数,配置方法参见设置GUC参数。 表1 CN配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接(Nest Loop Join)类型的使用。当设置为“on”后,优化器优先使用Nest Loop Join;当设置为“off”后,优化器在存在其他方法时将优先选择其他方法。
not determine which collation to use for %s function. 解决方案:使用COLLATE子句显式设置排序规则。 level: ERROR GS_226100025 错误码: invalid combination of date conventions
hashjoin optimization doesn't support row-engine. 解决方案:不要在rewrite_rule设置中包含“notinopt”选项。 level: ERROR GS_231100068 错误码: RIGHT JOIN is only supported
创建弹性云服务器ECS 参考《弹性云服务器用户指南》创建弹性云服务器,创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大,以TPC-DS 1000X和TPC-H 1000X为例,分别占用930GB和1100GB。请创建弹性云服务器时,根据需求添加数据盘,举例如下:
取值范围:true/on,false/off。 参数为true/on,当数据导入时,若数据源文件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。 参数为false/off,如果最后一个字段缺失会显示如下错误信息。 missing data for column "tt"
[SonicHashJoin]: The memory of the current statement is not controlled. 解决方案:请设置hashjoin_spill_strategy为0-2。 level: ERROR GS_232050001 错误码: LZ4 decompress
SQL调优性能的优化器配置参数,配置方法参见设置GUC参数。 表1 CN配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接(Nest Loop Join)类型的使用。当设置为“on”后,优化器优先使用Nest Loop Join;当设置为“off”后,优化器在存在其他方法时将优先选择其他方法。
例如:在MySQL兼容模式下导入(导出)的数据,同样需要在MySQL兼容模式下才能正确导出(导入)。 概述 通过外表导出数据:通过GDS外表设置的导出模式、导出数据格式等信息来指定待导出的数据文件,利用多DN并行的方式,将数据从数据库导出到数据文件中,从而提高整体导出性能。不支持直接导出文件到HDFS文件系统。
的流量总和。 参数类型:USERSET 参数建议保持默认设置,即禁用重协商机制。不建议通过gs_guc工具或其他方式直接在postgresql.conf文件中设置ssl_renegotiation_limit参数,即使设置也不会生效。 取值范围:整型,0~INT_MAX,单位为KB。其中0表示禁用重新协商机制。
的流量总和。 参数类型:USERSET 参数建议保持默认设置,即禁用重协商机制。不建议通过gs_guc工具或其他方式直接在postgresql.conf文件中设置ssl_renegotiation_limit参数,即使设置也不会生效。 取值范围:整型,0~INT_MAX,单位为KB。其中0表示禁用重新协商机制。
磁盘满 集群只读 磁盘告警了 磁盘阈值怎么设置 磁盘告警订阅怎么开启 磁盘使用率高&集群只读处理方案 2 查看集群基本信息 查看集群公网IP 查看数据库连接地址 集群的规格 磁盘基本信息 查看集群详情 3 如何购买集群 创建集群 4 集群非均衡怎么办 主备切换 集群主备恢复
参数说明:控制优化器在多Node Group环境下,是否使用强制弹性计算。Node Group目前为内部用机制,用户无需设置。 该参数只在expected_computing_nodegroup被设置为具体Node Group时生效。 参数类型:USERSET 取值范围:布尔型 on表示强制将计算弹
DITADMIN属性的更多信息请参考CREATE ROLE。 三权分立后,系统管理员只会对自己作为所有者的对象有权限。 三权分立的设置办法请参考设置GaussDB(DWS)集群三权分立章节。 三权分立前的权限详情及三权分立后的权限变化,请分别参见表1和表2。 表1 默认的用户权限