检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
it/tpcds1000X 从官网获取TPC-DS数据构建工具dsdgen最新版本,并通过SFTP工具上传到ECS的/data1/script/tpcds-kit目录。 执行如下命令解压tpcds的包并编译生成数据构建工具dsdgen。 “tpcds_3.2.0.zip”替换为实际的软件包名。
TPC-H查询测试 TPC-H由国际事务处理性能委员会(Transaction Processing Performance Council)制定发布,用于评测数据库的分析查询能力。TPC-H查询包含8张数据表和22条复杂SQL查询,大多数查询包含多表Join、子查询和Group
建表与导入SSB数据 创建SSB目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
" in stream " + [_STREAM] + " using template " + [_TEMPLATE]; 因TPC-DS工具中SQL语句生成模板有语法错误,需修改query77.tpl,将135行的‘, coalesce(returns, 0) returns’改为‘
TPC-H测试数据 表1 TPC-H测试数据 序号 表名 行数 表大小 1 region 5 294KB 2 nation 25 298KB 3 supplier 10,000,000 1020MB 4 customer 150,000,000 8226MB 5 part 200
TPC-DS测试数据 表1 TPC-DS测试数据 序号 表名 行数 表大小 1 customer_address 6,000,000 126MB 2 customer_demographics 1,920,800 11MB 3 date_dim 73,049 11MB 4 warehouse
00:00:00') ) ; 安装和启动GDS 参见工具下载下载GDS客户端(与gsql客户端在一个包)。 将GDS工具包上传至ECS的/opt目录中,本例以上传Euler Kunpeng版本的工具包为例。 在工具包所在目录下,解压工具包。 cd /opt/ unzip dws_client_8
建表与导入TPC-DS数据 创建TPC-DS目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
内存管理函数 内存管理函数仅9.1.0及以上集群版本支持。 pg_shared_chunk_detail(contextname char(64)) 描述:查询指定共享内存下内存上下文申请的所有chunk信息。 参数contextname,表示内存上下文名称。 使用该函数需先使用
20 其中各字段分别为:输出顺序号、线程内分配内存上下文的顺序号、当前内存上下文的名称、父内存上下文的输出顺序号、父内存上下文的名称、内存上下文树形层次级别号、当前内存上下文使用的内存峰值、当前内存上下文及其所有子内存上下文使用的内存峰值、当前线程所在query的plannodeid。
20 其中各字段分别为:输出顺序号、线程内分配内存上下文的顺序号、当前内存上下文的名称、父内存上下文的输出顺序号、父内存上下文的名称、内存上下文树形层次级别号、当前内存上下文使用的内存峰值、当前内存上下文及其所有子内存上下文使用的内存峰值、当前线程所在query的plannodeid。
降低内存的处理方案 如果当前集群内存负载较高,或出现“memory is temporary unavailable”内存报错,首先利用日志信息确定内存异常节点,然后连接到该节点查询pv_total_memory_detail视图确认当前是否还存在内存不足问题,可比较proces
产品 规格 CPU 内存 存储 单节点建议存储 查询性能(TPC-H 1000X) 版本 节点数 GaussDB(DWS) 8xlarge 32U 256G SSD云盘 6400GB 596.90s 8.1.3 3 测试结果 如下为scale=1000的TPC-H的性能测试结果,查询执行时间以秒(s)为单位。
TPC-DS 单并发查询 测试环境 表1 测试环境 产品 规格 CPU 内存 存储 单节点建议存储 查询性能(TPC-DS 1000X) 版本 节点数 GaussDB(DWS) 8xlarge 32U 256G SSD云盘 6400GB 1545.93s 8.1.3 3 测试结果
设置application.properties:用于配置工具的迁移行为,例如,是否要覆盖目标文件夹下的文件,是否对sql文件格式化。 设置Java内存分配:用户配置工具在迁移过程中可使用的内存资源,超出设置的内存,工具将显示错误消息并退出。 设置application.properties
0版本,我们实现了很多性能优化特性,提升整体开箱的SQL查询性能。以TPC-H、TPC-DS 1TB作为性能测试对比的基准,重点对比最新9.1.0版本与8.3.0版本的性能提升。集群规模为6节点,其中各节点的规格为16U 64G,累计96U 384G。从以下测试结果可以看到: 9.1.0版本存算一体架构TPC-H总查询耗时为170
FULL命令时报错:Lock wait timeout VACUUM FULL执行慢 表数据膨胀导致SQL查询慢,用户前台页面数据加载不出 集群报错内存溢出 带自定义函数的语句不下推 列存表更新失败或多次更新后出现表膨胀 列存表多次插入后出现表膨胀 往GaussDB(DWS)写数据慢,客户端数据会有积压
或多个窗格最小化时显示。 搜索工具栏 用于在“对象浏览器”窗格中搜索对象。 性能规格 Data Studio在对象浏览器上加载和操作的性能直接取决于要加载的对象数量,包括表、视图、列等。 内存消耗也取决于加载对象的数量。 为了提高加载对象的性能和内存使用效率,建议将对象分割为多个
DWS集群节点实例内存使用率超阈值 告警解释 GaussDB(DWS)每60秒采集集群各节点的实例内存使用率。如果某节点的实例内存使用率超过90%(可配置),则上报节点实例内存使用率超阈值告警;如果平均使用率低于85%(即上报阈值减去5%),则消除告警。 如果节点实例内存的平均使用率一
DWS集群节点动态内存使用率超阈值 告警解释 GaussDB(DWS)每60秒采集集群各节点的动态内存使用率。如果某节点的动态内存使用率超过90%(可配置),则上报节点动态内存使用率超阈值告警;如果平均使用率低于85%(即上报阈值减去5%),则消除告警。 如果节点动态内存的平均使用率一