检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
storage_parameter = value } [, ...] ) ] ; 参数说明 UNIQUE 创建唯一性索引,每次添加数据时检测表中是否有重复值。如果插入或更新的值会引起重复的记录时,将导致一个错误。 目前只有行存表B-tree索引和列存表的B-tree索引支持唯一索引。
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive
storage_parameter = value } [, ...] ) ] ; 参数说明 UNIQUE 创建唯一性索引,每次添加数据时检测表中是否有重复值。如果插入或更新的值会引起重复的记录时,将导致一个错误。 目前只有行存表B-tree索引和列存表的B-tree索引支持唯一索引。
SQL语句改写规则 根据数据库的SQL执行机制以及大量的实践,总结发现:通过一定的规则调整SQL语句,在保证结果正确的基础上,能够提高SQL执行效率。如果遵守下列规则,能够大幅度提升业务查询效率。 使用union all代替union union在合并两个集合时会执行去重操作,而union
GS_WLM_OPERATOR_INFO GS_WLM_OPERATOR_INFO系统表显示执行作业结束后的算子相关的记录。此数据是从内核中转储到系统表中的数据。当设置GUC参数enable_resource_record为on时,系统会定时将GS_WLM_OPERATOR_HI
GS_WLM_OPERATOR_INFO GS_WLM_OPERATOR_INFO系统表显示执行作业结束后的算子相关的记录。此数据是从内核中转储到系统表中的数据。当设置GUC参数enable_resource_record为on时,系统会定时将GS_WLM_OPERATOR_HI
SQL语句改写规则 根据数据库的SQL执行机制以及大量的实践,总结发现:通过一定的规则调整SQL语句,在保证结果正确的基础上,能够提高SQL执行效率。如果遵守下列规则,能够大幅度提升业务查询效率。 使用union all代替union union在合并两个集合时会执行去重操作,而union
其他优化器选项 default_statistics_target 参数说明:为没有用ALTER TABLE SET STATISTICS设置字段目标的表设置缺省统计目标。此参数设置为正数是代表统计信息的样本数量,为负数时,代表使用百分比的形式设置统计目标,负数转换为对应的百分比
SQL查询优秀实践 根据数据库的SQL执行机制以及大量的实践总结发现:通过一定的规则调整SQL语句,在保证结果正确的基础上,能够提高SQL执行效率。 使用union all代替union union在合并两个集合时会执行去重操作,而union all则直接将两个结果集合并、不执行
案例:调整GUC参数best_agg_plan 现象描述 t1的表定义为: 1 create table t1(a int, b int, c int) distribute by hash(a); 假设agg下层算子所输出结果集的分布列为setA,agg操作的group by
send_fifo Long 发送时fifo缓冲区错误的数量。 send_collisions Long 发送接口上检测到的冲突数。 send_carrier Long 发送时由设备驱动程序检测到的载波损耗的数量。 send_compressed Long 发送出的压缩数据包数量。 multi_q_possible
应用场景 数据仓库迁移 数据仓库是企业的重要数据分析系统,随着业务量的增长,自建数仓性能逐渐不能满足实际要求,同时扩展性差、成本高,也使扩容极为困难。GaussDB(DWS)作为云上企业级数据仓库,具备高性能、低成本、易扩展等特性,满足大数据时代企业数据仓库业务诉求。 图1 数据仓库迁移
GS_WLM_OPERATOR_STATISTICS GS_WLM_OPERATOR_STATISTICS视图显示当前用户正在执行的作业的算子相关信息。 表1 GS_WLM_OPERATOR_STATISTICS的字段 名称 类型 描述 queryid bigint 语句执行使用的内部query_id。
参数类型:USERSET 取值范围:布尔型 on表示打开控制功能。 off表示关闭控制功能。 默认值:off zero_damaged_pages 参数说明:控制检测导致GaussDB(DWS)报告错误的损坏的页头,中止当前事务。 参数类型:SUSET 取值范围:布尔型 on表示打开控制功能。 off表示关闭控制功能。
案例:调整GUC参数best_agg_plan 现象描述 t1的表定义为: 1 create table t1(a int, b int, c int) distribute by hash(a); 假设agg下层算子所输出结果集的分布列为setA,agg操作的group by
PGXC_WLM_OPERATOR_STATISTICS PGXC_WLM_OPERATOR_STATISTICS视图显示在所有CN上正在执行作业的算子信息。系统管理员权限可以查询集群所有用户的作业算子信息,普通用户仅可查询自己的作业算子信息。 具体的字段请参考表1。 表1 GS
behavior_compat_options 新增了ignore_unshipped_concurrent_update选项,这个选项可以控制在并发更新场景下是否忽略新元组检测。 30 max_connections 最小值由1修改为100。 31 max_process_memory 可以直接设置生效,不再依赖
表数量(小于10000)较少的场景直接使用。 check_foreign_key_constraint(schema.table) 描述:检测外键表中的数据是否满足外键约束。该参数仅9.1.0.200及以上集群版本支持。 返回值类型:text 示例: 1 2 3 4 5
降低IO的处理方案 问题现象 在DWS实际业务场景中因IO高、IO瓶颈导致的性能问题较多,其中应用业务设计不合理导致的问题占大多数。本文从应用业务优化角度,以常见触发IO慢的业务SQL场景为例,指导如何通过优化业务去提升IO效率和降低IO。 确定IO瓶颈&识别高IO的语句 通过以
调优前:学习表结构设计 在本实践中,您将学习如何优化表的设计。您首先不指定存储方式,分布键、分布方式和压缩方式创建表,然后为这些表加载测试数据并测试系统性能。接下来,您将应用调优表实践以使用新的存储方式、分布键、分布方式和压缩方式重新创建这些表,并再次为这些表加载测试数据和测试系