检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试方法 总体流程 创建弹性云服务器ECS和数据仓库GaussDB(DWS) 构建TPC-H&TPC-DS使用数据 建表与数据导入 执行查询与结果收集
步骤3:调优表操作具体步骤 选择存储方式 此实践中所使用的样例表为典型的TPC-DS表,是典型的多字段表,统计分析类查询场景多,因此选择列存存储方式。 1 WITH (ORIENTATION = column) 选择压缩级别 在步骤1:创建初始表并加装样例数据中没有指定压缩比,GaussDB
测试结果 TPC-H 单并发查询 TPC-DS 单并发查询
TPC-H查询测试 TPC-H由国际事务处理性能委员会(Transaction Processing Performance Council)制定发布,用于评测数据库的分析查询能力。TPC-H查询包含8张数据表和22条复杂SQL查询,大多数查询包含多表Join、子查询和Group
TPC-H测试数据 表1 TPC-H测试数据 序号 表名 行数 表大小 1 region 5 294KB 2 nation 25 298KB 3 supplier 10,000,000 1020MB 4 customer 150,000,000 8226MB 5 part 200,000,000
TPC-DS查询测试 您可以通过命令生成方法生成TPC-DS测试集,也可以直接通过脚本生成方法生成,另我们已经给出前面20个的TPC-DS测试集供您参考。 命令生成方法 TPC-DS标准99个SQL查询语句可用如下方法生成: 准备工作。生成TPC-DS查询语句前需要修改query_templates
TPC-DS测试数据 表1 TPC-DS测试数据 序号 表名 行数 表大小 1 customer_address 6,000,000 126MB 2 customer_demographics 1,920,800 11MB 3 date_dim 73,049 11MB 4 warehouse
TPC-DS测试结果 本测试主要包括使用存算一体和存算分离两种部署架构下,TPC-DS 1T规模数据集的开箱查询性能,共99个查询。存算一体查询总耗时为622.21s,存算分离查询总耗时为645.42s。详细结果见下表。 表1 TPC-DS测试结果 TPC-DS查询 8.3.0 9.1.0.210
SSB测试过程 SSB测试数据 SSB数据生成 建表与导入SSB数据 SSB查询测试 父主题: SSB性能测试
SSB测试数据 表1 SSB测试数据 序号 表名 行数 表大小 1 supplier 200000 - 2 customer 3000000 - 3 part 1400000 - 4 lineorder 60037902 - 5 lineorder_flat 60037902 -
SSB测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
词典测试 函数ts_lexize用于进行词典测试。 ts_lexize(dict regdictionary, token text) returns text[]如果输入的token可以被词典识别,那么ts_lexize返回词素的数组;如果token可以被词典识别但它是一个停用词
SSB查询测试 SSB(Star Schema Benchmark)是一种在学术界和工业界广泛应用的数据库系统性能评估基准测试方法。它能够对比不同数据仓库在处理星型模型查询时的性能,帮助数据库管理员和决策者选择最符合需求的数据库系统。此外,参考OLAP行业的做法,将SSB中的星型模型展平转化为宽表
SSB测试结果 经过针对SSB宽表场景对DWS和开源OLAP产品ClickHouse的对比测试发现:使用hstore_opt表,配合turbo存储、turbo引擎, DWS查询性能整体优于开源产品ClickHouse 2倍。 表1 SSB测试结果 SSB DWS ClickHouse
分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description
解析器测试 函数ts_parse可以直接测试文本搜索解析器。 1 2 ts_parse(parser_name text, document text, OUT tokid integer, OUT token text) returns setof record
方案建议: 高资源消耗型SQL的主要特征: 大量UNION ALL 大量AGG(COUNT DISTINCT、MAX等) 大量表JOIN 大量STREAM算子(计划维度) 针对上述SQL需进行压力测试和并发管控,如果超出资源能力,则必须进行业务优化后再重新评估上线。
词典测试 函数ts_lexize用于进行词典测试。 ts_lexize(dict regdictionary, token text) returns text[]如果输入的token可以被词典识别,那么ts_lexize返回词素的数组;如果token可以被词典识别但它是一个停用词
解析器测试 函数ts_parse可以直接测试文本搜索解析器。 1 2 ts_parse(parser_name text, document text, OUT tokid integer, OUT token text) returns setof record
方案建议: 高资源消耗型SQL的主要特征: 大量UNION ALL 大量AGG(COUNT DISTINCT、MAX等) 大量表JOIN 大量STREAM算子(计划维度) 针对上述SQL需进行压力测试和并发管控,如果超出资源能力,则必须进行业务优化后再重新评估上线。