检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TPC-DS 单并发查询 测试环境 表1 测试环境 产品 规格 CPU 内存 存储 单节点建议存储 查询性能(TPC-DS 1000X) 版本 节点数 GaussDB(DWS) 8xlarge 32U 256G SSD云盘 6400GB 1545.93s 8.1.3 3 测试结果 如下为sc
TPC-H性能测试 TPC-H测试结果 TPC-H测试环境 TPC-H测试过程
TPC-DS性能测试 TPC-DS测试结果 TPC-DS测试环境 TPC-DS测试过程
9.1.0版本测试结论 性能总览
TPC-H 单并发查询 测试环境 表1 测试环境 产品 规格 CPU 内存 存储 单节点建议存储 查询性能(TPC-H 1000X) 版本 节点数 GaussDB(DWS) 8xlarge 32U 256G SSD云盘 6400GB 596.90s 8.1.3 3 测试结果 如下为sca
1.0版本和8.3.0版本进行性能对比测试。基于SSB-Flat测试集,对DWS 9.1.0版本和开源OLAP产品ClickHouse进行对比测试。本次性能测试时间为2024年11月。 TPC-H TPC-H由国际事务处理性能委员会(Transaction Processing Performance
pcds-kit目录。 执行如下命令解压tpcds的包并编译生成数据构建工具dsdgen。 “tpcds_3.2.0.zip”替换为实际的软件包名。 “DSGen-software-code-3.2.0rc1”替换为实际解压的文件夹名。 1 2 cd /data1/script/tpcds-kit
构建TPC-H&TPC-DS使用数据 准备数据构建工具编译环境 TPC-H数据构建 TPC-DS数据构建 父主题: 测试方法
命令中的斜体部分请根据实际填写,如果数据分片存放至多个数据盘目录,需要启动对应目录数量的GDS。 如果TPC-H和TPC-DS数据同时测试,需要启动以上4个GDS,如果只测试TPC-DS或TPC-H数据,请根据后面的“#xxx”备注启动对应的GDS服务即可。 -d dir:保存有待导入数据的数据文件所在目录。
GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题: 建表与数据导入
TPC-H数据构建 从官网获取TPC-H工具。 登录ECS云服务器,执行如下命令创建TPC-H存放目录。 1 2 mkdir -p /data1/script/tpch-kit/tpch1000X mkdir -p /data2/script/tpch-kit/tpch1000X
创建弹性云服务器ECS和数据仓库GaussDB(DWS) 创建弹性云服务器ECS 创建数据仓库GaussDB(DWS) 父主题: 测试方法
创建GDS外表并导入TPC-H数据 本文介绍如何通过GDS外表导入TPC-H 1000x数据,表1列出了TPC-H测试数据集中的表数据行数。 TPC-DS请跳过本章节。 表数据行数 表1 TPC-H 序号 表名 行数 1 region 5 2 nation 25 3 supplier
使用gsql连接DWS 使用gsql连接DWS集群 进入到ECS的/opt目录下,并执行环境变量。 1 2 cd /opt source gsql_env.sh 执行以下命令连接GaussDB(DWS)数据库。其中,<DWS的内网IP>、<用户dbadmin密码>从创建数据仓库GaussDB(DWS)获取。
创建GDS外表并导入TPC-DS数据 本文介绍如何通过GDS外表导入TPC-DS 1000x数据,表1列出了TPC-DS测试数据集中的表数据行数。 TPC-H请跳过本章节。 表数据行数 表1 TPC-DS 序号 表名 行数 1 customer_address 6,000,000
准备数据构建工具编译环境 远程连接ECS弹性云服务器。 执行以下命令, 安装git。 yum install git 执行以下命令,安装gcc。 yum install gcc 父主题: 构建TPC-H&TPC-DS使用数据
先不指定存储方式,分布键、分布方式和压缩方式创建表,然后为这些表加载测试数据并测试系统性能。接下来,您将应用调优表实践以使用新的存储方式、分布键、分布方式和压缩方式重新创建这些表,并再次为这些表加载测试数据和测试系统性能,以便比较不同的设计对表的加载性能、存储空间和查询性能的影响。
步骤5:测试新的表结构下的系统性能 重新创建了具有存储方式、压缩级别、分布方式和分布列的测试数据集后,重新测试系统性能。 记录各表的存储使用情况。 使用pg_size_pretty函数查询每张表使用的磁盘空间,并将结果记录到基准表中。 1 SELECT T_NAME, PG_SI
步骤2:测试初始表结构下的系统性能并建立基线 在优化表结构前后,请测试和记录以下详细信息以对比系统性能差异: 数据加载时间。 表占用的存储空间大小。 查询性能。 本次实践中的示例基于使用8节点的dws.d2.xlarge集群。因为系统性能受到许多因素的影响,即使您使用相同的集群配置,结果也会有所不同。
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格