导入TPC-H数据 执行以下SQL语句导入数据。 1 2 3 4 5 6 7 8 INSERT INTO region SELECT * FROM region_load; INSERT INTO nation SELECT * FROM nation_load; INSERT INTO supplier SELECT * FROM supplier_load; INSERT INTO customer SELECT * FROM customer_load; INSERT INTO part SELECT * FROM part_load; INSERT INTO partsupp SELECT * FROM partsupp_load; INSERT INTO orders SELECT * FROM orders_load; INSERT INTO lineitem SELECT * FROM lineitem_load;

创建TPC-H数据集的GDS外表 连接DWS数据库后执行以下SQL语句创建。 以下每个外表的“gsfs://192.168.0.90:500x/xxx | gsfs://192.168.0.90:500x/xxx”中的IP地址和端口，请替换成安装和启动GDS中的对应的GDS的监听IP和端口。如启动两个GDS，则使用“|”区分。如果启动多个GDS，需要将所有GDS的监听IP和端口配置到外表中。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 DROP FOREIGN TABLE IF EXISTS region_load; CREATE FOREIGN TABLE region_load ( R_REGIONKEY INT, R_NAME CHAR(25), R_COMMENT VARCHAR(152) ) SERVER gsmpp_server OPTIONS(location 'gsfs://192.168.0.90:5000/region.tbl* | gsfs://192.168.0.90:5001/region.tbl*', format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' ); DROP FOREIGN TABLE IF EXISTS nation_load; CREATE FOREIGN TABLE nation_load ( N_NATIONKEY INT, N_NAME CHAR(25), N_REGIONKEY INT, N_COMMENT VARCHAR(152) ) SERVER gsmpp_server OPTIONS(location 'gsfs://192.168.0.90:5000/nation.tbl* | gsfs://192.168.0.90:5001/nation.tbl*', format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' ); DROP FOREIGN TABLE IF EXISTS supplier_load; CREATE FOREIGN TABLE supplier_load ( S_SUPPKEY INT, S_NAME CHAR(25), S_ADDRESS VARCHAR(40), S_NATIONKEY INT, S_PHONE CHAR(15), S_ACCTBAL DECIMAL(15,2), S_COMMENT VARCHAR(101) ) SERVER gsmpp_server OPTIONS(location 'gsfs://192.168.0.90:5000/supplier.tbl* | gsfs://192.168.0.90:5001/supplier.tbl*', format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' ); DROP FOREIGN TABLE IF EXISTS customer_load; CREATE FOREIGN TABLE customer_load ( C_CUSTKEY INT, C_NAME VARCHAR(25), C_ADDRESS VARCHAR(40), C_NATIONKEY INT, C_PHONE CHAR(15), C_ACCTBAL DECIMAL(15,2), C_MKTSEGMENT CHAR(10), C_COMMENT VARCHAR(117) ) SERVER gsmpp_server OPTIONS(location 'gsfs://192.168.0.90:5000/customer.tbl* | gsfs://192.168.0.90:5001/customer.tbl*', format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' ); DROP FOREIGN TABLE IF EXISTS part_load; CREATE FOREIGN TABLE part_load ( P_PARTKEY INT, P_NAME VARCHAR(55), P_MFGR CHAR(25), P_BRAND CHAR(10), P_TYPE VARCHAR(25), P_SIZE INT, P_CONTAINER CHAR(10), P_RETAILPRICE DECIMAL(15,2), P_COMMENT VARCHAR(23) ) SERVER gsmpp_server OPTIONS(location 'gsfs://192.168.0.90:5000/part.tbl* | gsfs://192.168.0.90:5001/part.tbl*', format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' ); DROP FOREIGN TABLE IF EXISTS partsupp_load; CREATE FOREIGN TABLE partsupp_load ( PS_PARTKEY INT, PS_SUPPKEY INT, PS_AVAILQTY INT, PS_SUPPLYCOST DECIMAL(15,2), PS_COMMENT VARCHAR(199) ) SERVER gsmpp_server OPTIONS(location 'gsfs://192.168.0.90:5000/partsupp.tbl* | gsfs://192.168.0.90:5001/partsupp.tbl*', format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' ); DROP FOREIGN TABLE IF EXISTS orders_load; CREATE FOREIGN TABLE orders_load ( O_ORDERKEY BIGINT, O_CUSTKEY INT, O_ORDERSTATUS CHAR(1), O_TOTALPRICE DECIMAL(15,2), O_ORDERDATE DATE, O_ORDERPRIORITY CHAR(15), O_CLERK CHAR(15), O_SHIPPRIORITY INT, O_COMMENT VARCHAR(79) ) SERVER gsmpp_server OPTIONS(location 'gsfs://192.168.0.90:5000/orders.tbl* | gsfs://192.168.0.90:5001/orders.tbl*', format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' ); DROP FOREIGN TABLE IF EXISTS lineitem_load; CREATE FOREIGN TABLE lineitem_load ( L_ORDERKEY BIGINT, L_PARTKEY INT, L_SUPPKEY INT, L_LINENUMBER INT, L_QUANTITY DECIMAL(15,2), L_EXTENDEDPRICE DECIMAL(15,2), L_DISCOUNT DECIMAL(15,2), L_TAX DECIMAL(15,2), L_RETURNFLAG CHAR(1), L_LINESTATUS CHAR(1), L_SHIPDATE DATE, L_COMMITDATE DATE, L_RECEIPTDATE DATE, L_SHIPINSTRUCT CHAR(25), L_SHIPMODE CHAR(10), L_COMMENT VARCHAR(44) ) SERVER gsmpp_server OPTIONS(location 'gsfs://192.168.0.90:5000/lineitem.tbl* | gsfs://192.168.0.90:5001/lineitem.tbl*', format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' );

安装和启动GDS 参见工具下载下载GDS客户端（与gsql客户端在一个包）。 将GDS工具包上传至E CS 的/opt目录中，本例以上传Euler Kunpeng版本的工具包为例。 在工具包所在目录下，解压工具包。 cd /opt/ unzip dws_client_8.1.x_euler_kunpeng_x64.zip 创建用户gds_user及其所属的用户组gdsgrp。此用户用于启动GDS，且需要拥有读取数据源文件目录的权限。 groupadd gdsgrp useradd -g gdsgrp gds_user 修改工具包以及数据源文件目录属主为创建的用户gds_user及其所属的用户组gdsgrp。 chown -R gds_user:gdsgrp /opt/ chown -R gds_user:gdsgrp /data1 chown -R gds_user:gdsgrp /data2 切换到gds_user用户。 su - gds_user 执行环境依赖脚本（仅8.1.x版本适用）。 cd /opt/gds/bin source gds_env 启动GDS。 /opt/gds/bin/gds -d /data1/script/tpch-kit/tpch1000X -p 192.168.0.90:5000 -H 192.168.0.0/24 -l /opt/gds/gds01_log.txt -D #TPC-H使用 /opt/gds/bin/gds -d /data2/script/tpch-kit/tpch1000X -p 192.168.0.90:5001 -H 192.168.0.0/24 -l /opt/gds/gds02_log.txt -D #TPC-H使用 /opt/gds/bin/gds -d /data1/script/tpcds-kit/tpcds1000X/ -p 192.168.0.90:5002 -H 192.168.0.0/24 -l /opt/gds/gds03_log.txt -D #TPC-DS使用 /opt/gds/bin/gds -d /data2/script/tpcds-kit/tpcds1000X/ -p 192.168.0.90:5003 -H 192.168.0.0/24 -l /opt/gds/gds04_log.txt -D #TPC-DS使用 /opt/gds/bin/gds -d /data1/script/ssb-kit/ssb100X/ -p 192.168.0.90:5004 -H 192.168.0.0/24 -l /opt/gds/gds05_log.txt -D #SSB使用 命令中的斜体部分请根据实际填写，如果数据分片存放至多个数据盘目录，需要启动对应目录数量的GDS。 如果TPC-H和TPC-DS数据同时测试，需要启动以上4个GDS，如果只测试TPC-DS或TPC-H数据，请根据后面的“#xxx”备注启动对应的GDS服务即可。 -d dir：保存有待导入数据的数据文件所在目录。 -p ip:port：GDS监听IP和监听端口。IP替换为ECS的内网IP，确保 GaussDB (DWS)能通过此IP与GDS的通讯；端口对于TPC-H取5000、5001，对于TPC-DS取5002、5003。 -H address_string：允许哪些主机连接和使用GDS服务。参数需为CIDR格式。此地址配置成GaussDB(DWS)的集群内网网段（即GDS所在的ECS与GaussDB(DWS)在同一个VPC下，以内网通讯即可），例如192.168.0.0/24。 -l log_file：存放GDS的日志文件路径及文件名。 -D：后台运行GDS。仅支持Linux操作系统下使用。

创建TPC-H目标表 连接DWS数据库后执行以下命令创建目标表。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 CREATE TABLE REGION ( R_REGIONKEY INT NOT NULL , R_NAME VARCHAR(25) NOT NULL , R_COMMENT VARCHAR(152) ) WITH (orientation=column, colversion=2.0, enable_hstore=true, enable_hstore_opt=true) DISTRIBUTE BY replication; CREATE TABLE NATION ( N_NATIONKEY INT NOT NULL , N_NAME VARCHAR(25) NOT NULL , N_REGIONKEY INT NOT NULL , N_COMMENT VARCHAR(152) ) WITH (orientation=column, colversion=2.0, enable_hstore=true, enable_hstore_opt=true) DISTRIBUTE BY replication; CREATE TABLE SUPPLIER ( S_SUPPKEY BIGINT NOT NULL , S_NAME VARCHAR(25) NOT NULL , S_ADDRESS VARCHAR(40) NOT NULL , S_NATIONKEY INT NOT NULL , S_PHONE VARCHAR(15) NOT NULL , S_ACCTBAL DECIMAL(15,2) NOT NULL , S_COMMENT VARCHAR(101) NOT NULL ) WITH (orientation=column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash(S_SUPPKEY) PARTITION BY RANGE(S_NATIONKEY) ( PARTITION S_NATIONKEY_1 VALUES LESS THAN(1), PARTITION S_NATIONKEY_2 VALUES LESS THAN(2), PARTITION S_NATIONKEY_3 VALUES LESS THAN(3), PARTITION S_NATIONKEY_4 VALUES LESS THAN(4), PARTITION S_NATIONKEY_5 VALUES LESS THAN(5), PARTITION S_NATIONKEY_6 VALUES LESS THAN(6), PARTITION S_NATIONKEY_7 VALUES LESS THAN(7), PARTITION S_NATIONKEY_8 VALUES LESS THAN(8), PARTITION S_NATIONKEY_9 VALUES LESS THAN(9), PARTITION S_NATIONKEY_10 VALUES LESS THAN(10), PARTITION S_NATIONKEY_11 VALUES LESS THAN(11), PARTITION S_NATIONKEY_12 VALUES LESS THAN(12), PARTITION S_NATIONKEY_13 VALUES LESS THAN(13), PARTITION S_NATIONKEY_14 VALUES LESS THAN(14), PARTITION S_NATIONKEY_15 VALUES LESS THAN(15), PARTITION S_NATIONKEY_16 VALUES LESS THAN(16), PARTITION S_NATIONKEY_17 VALUES LESS THAN(17), PARTITION S_NATIONKEY_18 VALUES LESS THAN(18), PARTITION S_NATIONKEY_19 VALUES LESS THAN(19), PARTITION S_NATIONKEY_20 VALUES LESS THAN(20), PARTITION S_NATIONKEY_21 VALUES LESS THAN(21), PARTITION S_NATIONKEY_22 VALUES LESS THAN(22), PARTITION S_NATIONKEY_23 VALUES LESS THAN(23), PARTITION S_NATIONKEY_24 VALUES LESS THAN(24), PARTITION S_NATIONKEY_25 VALUES LESS THAN(25) ); CREATE TABLE CUSTOMER ( C_CUSTKEY BIGINT NOT NULL , C_NAME VARCHAR(25) NOT NULL , C_ADDRESS VARCHAR(40) NOT NULL , C_NATIONKEY INT NOT NULL , C_PHONE VARCHAR(15) NOT NULL , C_ACCTBAL DECIMAL(15,2) NOT NULL , C_MKTSEGMENT VARCHAR(10) NOT NULL , C_COMMENT VARCHAR(117) NOT NULL ) WITH (orientation=column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash(C_CUSTKEY) PARTITION BY RANGE(C_NATIONKEY) ( PARTITION C_NATIONKEY_1 VALUES LESS THAN(1), PARTITION C_NATIONKEY_2 VALUES LESS THAN(2), PARTITION C_NATIONKEY_3 VALUES LESS THAN(3), PARTITION C_NATIONKEY_4 VALUES LESS THAN(4), PARTITION C_NATIONKEY_5 VALUES LESS THAN(5), PARTITION C_NATIONKEY_6 VALUES LESS THAN(6), PARTITION C_NATIONKEY_7 VALUES LESS THAN(7), PARTITION C_NATIONKEY_8 VALUES LESS THAN(8), PARTITION C_NATIONKEY_9 VALUES LESS THAN(9), PARTITION C_NATIONKEY_10 VALUES LESS THAN(10), PARTITION C_NATIONKEY_11 VALUES LESS THAN(11), PARTITION C_NATIONKEY_12 VALUES LESS THAN(12), PARTITION C_NATIONKEY_13 VALUES LESS THAN(13), PARTITION C_NATIONKEY_14 VALUES LESS THAN(14), PARTITION C_NATIONKEY_15 VALUES LESS THAN(15), PARTITION C_NATIONKEY_16 VALUES LESS THAN(16), PARTITION C_NATIONKEY_17 VALUES LESS THAN(17), PARTITION C_NATIONKEY_18 VALUES LESS THAN(18), PARTITION C_NATIONKEY_19 VALUES LESS THAN(19), PARTITION C_NATIONKEY_20 VALUES LESS THAN(20), PARTITION C_NATIONKEY_21 VALUES LESS THAN(21), PARTITION C_NATIONKEY_22 VALUES LESS THAN(22), PARTITION C_NATIONKEY_23 VALUES LESS THAN(23), PARTITION C_NATIONKEY_24 VALUES LESS THAN(24), PARTITION C_NATIONKEY_25 VALUES LESS THAN(25) ); CREATE TABLE PART ( P_PARTKEY BIGINT NOT NULL , P_NAME VARCHAR(55) NOT NULL , P_MFGR VARCHAR(25) NOT NULL , P_BRAND VARCHAR(10) NOT NULL , P_TYPE VARCHAR(25) NOT NULL , P_SIZE BIGINT NOT NULL , P_CONTAINER VARCHAR(10) NOT NULL , P_RETAILPRICE DECIMAL(15,2) NOT NULL , P_COMMENT VARCHAR(23) NOT NULL ) WITH (orientation=column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash(P_PARTKEY) PARTITION BY RANGE(P_SIZE) ( PARTITION P_SIZE_1 VALUES LESS THAN(11), PARTITION P_SIZE_2 VALUES LESS THAN(21), PARTITION P_SIZE_3 VALUES LESS THAN(31), PARTITION P_SIZE_4 VALUES LESS THAN(41), PARTITION P_SIZE_5 VALUES LESS THAN(51) ); CREATE TABLE PARTSUPP ( PS_PARTKEY BIGINT NOT NULL , PS_SUPPKEY BIGINT NOT NULL , PS_AVAILQTY BIGINT NOT NULL , PS_SUPPLYCOST DECIMAL(15,2) NOT NULL , PS_COMMENT VARCHAR(199) NOT NULL ) WITH (orientation=column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash(PS_PARTKEY) PARTITION BY RANGE(PS_AVAILQTY) ( PARTITION PS_AVAILQTY_1 VALUES LESS THAN(1000), PARTITION PS_AVAILQTY_2 VALUES LESS THAN(2000), PARTITION PS_AVAILQTY_3 VALUES LESS THAN(3000), PARTITION PS_AVAILQTY_4 VALUES LESS THAN(4000), PARTITION PS_AVAILQTY_5 VALUES LESS THAN(5000), PARTITION PS_AVAILQTY_6 VALUES LESS THAN(6000), PARTITION PS_AVAILQTY_7 VALUES LESS THAN(7000), PARTITION PS_AVAILQTY_8 VALUES LESS THAN(8000), PARTITION PS_AVAILQTY_9 VALUES LESS THAN(9000), PARTITION PS_AVAILQTY_10 VALUES LESS THAN(10000) ) ; CREATE TABLE ORDERS ( O_ORDERKEY BIGINT NOT NULL , O_CUSTKEY BIGINT NOT NULL , O_ORDERSTATUS VARCHAR(1) NOT NULL , O_TOTALPRICE DECIMAL(15,2) NOT NULL , O_ORDERDATE DATE NOT NULL , O_ORDERPRIORITY VARCHAR(15) NOT NULL , O_CLERK VARCHAR(15) NOT NULL , O_SHIPPRIORITY BIGINT NOT NULL , O_COMMENT VARCHAR(79) NOT NULL ) WITH (orientation=column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash(O_ORDERKEY) PARTITION BY RANGE(O_ORDERDATE) ( PARTITION O_ORDERDATE_1 VALUES LESS THAN('1993-01-01 00:00:00'), PARTITION O_ORDERDATE_2 VALUES LESS THAN('1994-01-01 00:00:00'), PARTITION O_ORDERDATE_3 VALUES LESS THAN('1995-01-01 00:00:00'), PARTITION O_ORDERDATE_4 VALUES LESS THAN('1996-01-01 00:00:00'), PARTITION O_ORDERDATE_5 VALUES LESS THAN('1997-01-01 00:00:00'), PARTITION O_ORDERDATE_6 VALUES LESS THAN('1998-01-01 00:00:00'), PARTITION O_ORDERDATE_7 VALUES LESS THAN('1999-01-01 00:00:00') ) ; CREATE TABLE LINEITEM ( L_ORDERKEY BIGINT NOT NULL , L_PARTKEY BIGINT NOT NULL , L_SUPPKEY BIGINT NOT NULL , L_LINENUMBER BIGINT NOT NULL , L_QUANTITY DECIMAL(15,2) NOT NULL , L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL , L_DISCOUNT DECIMAL(15,2) NOT NULL , L_TAX DECIMAL(15,2) NOT NULL , L_RETURNFLAG VARCHAR(1) NOT NULL , L_LINESTATUS VARCHAR(1) NOT NULL , L_SHIPDATE DATE NOT NULL , L_COMMITDATE DATE NOT NULL , L_RECEIPTDATE DATE NOT NULL , L_SHIPINSTRUCT VARCHAR(25) NOT NULL , L_SHIPMODE VARCHAR(10) NOT NULL , L_COMMENT VARCHAR(44) NOT NULL ) WITH (orientation=column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash(L_ORDERKEY) PARTITION BY RANGE(L_SHIPDATE) ( PARTITION L_SHIPDATE_1 VALUES LESS THAN('1993-01-01 00:00:00'), PARTITION L_SHIPDATE_2 VALUES LESS THAN('1994-01-01 00:00:00'), PARTITION L_SHIPDATE_3 VALUES LESS THAN('1995-01-01 00:00:00'), PARTITION L_SHIPDATE_4 VALUES LESS THAN('1996-01-01 00:00:00'), PARTITION L_SHIPDATE_5 VALUES LESS THAN('1997-01-01 00:00:00'), PARTITION L_SHIPDATE_6 VALUES LESS THAN('1998-01-01 00:00:00'), PARTITION L_SHIPDATE_7 VALUES LESS THAN('1999-01-01 00:00:00') ) ;

TPC-H测试结果 DWS测试了使用存算一体和存算分离两种部署架构下，TPC-H 1T规模数据集的开箱查询性能，共22个查询。存算一体查询总耗时为234.23s，存算分离查询总耗时为261.19s。 详细性能数据见下表。 表1 TPC-H测试结果 版本 8.3.0 9.1.0 - 存算一体 存算一体 存算分离 Q1 16.97 6.58 8.29 Q2 1.44 1.51 1.76 Q3 13.02 10.13 10.51 Q4 65.56 18.59 17.65 Q5 21.90 14.55 15.64 Q6 0.84 0.52 0.68 Q7 11.08 11.92 13.59 Q8 87.18 16.49 17.22 Q9 55.98 29.42 41.29 Q10 12.20 9.67 10.35 Q11 3.57 3.22 3.94 Q12 5.92 8.73 9.96 Q13 14.28 11.62 12.15 Q14 1.87 1.66 1.83 Q15 2.24 1.23 1.45 Q16 4.52 3.75 4.09 Q17 10.54 7.38 8.45 Q18 47.97 31.27 30.74 Q19 110.03 8.13 8.74 Q20 10.07 6.23 7.18 Q21 28.82 27.93 31.83 Q22 7.04 3.70 3.83 总时长（s） 533.05 234.23 261.19 父主题： TPC-H性能测试

TPC-DS测试结果 本测试主要包括使用存算一体和存算分离两种部署架构下，TPC-H 1T规模数据集的开箱查询性能，共99个查询。存算一体查询总耗时为971.45s，存算分离查询总耗时为1035.80s。详细结果见下表。 表1 TPC-DS测试结果 TPC-DS查询 8.3.0 9.1.0 - 存算一体（s） 存算一体（s） 存算分离（s） Q1 2.03 1.21 0.59 Q2 9.14 4.00 5.10 Q3 1.52 1.40 1.96 Q4 200.44 173.61 181.80 Q5 3.11 2.26 3.48 Q6 0.39 0.29 0.43 Q7 1.85 1.74 2.23 Q8 0.72 0.42 0.58 Q9 11.14 15.36 17.16 Q10 1.08 1.07 1.05 Q11 92.20 62.56 66.79 Q12 0.20 0.13 0.22 Q13 2.50 2.86 3.63 Q14 74.98 23.45 24.90 Q15 2.11 0.56 0.45 Q16 6.51 3.28 4.28 Q17 2.93 3.74 5.29 Q18 2.16 1.16 2.06 Q19 0.70 0.69 0.84 Q20 0.18 0.10 0.17 Q21 0.18 0.27 0.17 Q22 5.84 2.00 14.78 Q23 144.71 44.33 48.74 Q24 8.55 4.76 6.74 Q25 3.10 3.34 4.17 Q26 0.63 0.53 0.62 Q27 2.03 1.79 2.77 Q28 13.32 13.20 14.74 Q29 2.50 2.96 3.61 Q30 0.73 0.38 0.44 Q31 3.73 2.85 3.08 Q32 0.18 0.91 0.20 Q33 1.28 1.06 1.22 Q34 2.13 2.51 3.27 Q35 3.00 1.89 2.30 Q36 6.21 1.67 17.93 Q37 0.34 0.39 0.51 Q38 52.24 37.43 37.78 Q39 5.57 3.51 3.11 Q40 0.66 0.13 0.24 Q41 0.04 0.03 0.09 Q42 0.70 0.73 0.60 Q43 1.99 1.35 1.79 Q44 3.25 3.66 4.27 Q45 0.82 0.56 0.79 Q46 4.63 4.44 4.62 Q47 6.91 4.83 6.22 Q48 2.37 2.45 3.55 Q49 3.01 3.13 4.64 Q50 5.82 6.70 5.09 Q51 10.67 5.07 5.25 Q52 0.70 0.72 0.68 Q53 0.88 0.86 1.05 Q54 3.96 3.20 4.21 Q55 0.66 0.53 0.59 Q56 0.84 0.76 0.94 Q57 3.12 2.26 2.09 Q58 0.76 0.49 0.69 Q59 17.30 8.75 10.42 Q60 1.75 1.31 1.46 Q61 1.10 1.03 1.45 Q62 1.29 0.83 1.07 Q63 0.86 0.84 1.05 Q64 14.20 11.57 16.54 Q65 6.92 4.09 4.84 Q66 1.50 1.16 1.35 Q67 153.90 131.56 196.11 Q68 3.65 3.13 3.66 Q69 0.93 0.69 0.82 Q70 23.13 3.07 32.01 Q71 2.33 2.34 2.60 Q72 3.69 4.24 3.81 Q73 1.40 1.72 2.32 Q74 37.27 24.38 27.55 Q75 11.85 5.99 7.91 Q76 3.37 3.21 3.65 Q77 1.30 1.07 1.56 Q78 152.21 97.02 42.98 Q79 4.49 4.25 5.15 Q80 3.56 2.35 3.93 Q81 0.64 0.33 0.42 Q82 0.75 0.70 1.31 Q83 0.15 0.09 0.26 Q84 0.24 0.26 0.42 Q85 2.78 1.81 2.16 Q86 2.59 0.35 3.07 Q87 78.17 123.22 56.21 Q88 6.90 9.40 11.20 Q89 2.61 1.85 1.92 Q90 0.64 0.60 1.13 Q91 0.15 0.12 0.26 Q92 0.20 0.26 0.24 Q93 7.53 7.44 5.84 Q94 3.49 1.93 2.72 Q95 29.57 31.04 28.55 Q96 1.49 1.96 2.66 Q97 8.49 5.31 5.81 Q98 1.09 0.85 0.93 Q99 2.37 1.76 1.82 SUM 1321.757 971.45 1035.80 父主题： TPC-DS性能测试

SSB测试结果 经过针对SSB宽表场景对DWS和开源OLAP产品ClickHouse的对比测试发现： 使用hstore_opt表，配合turbo存储、turbo引擎， DWS查询性能整体优于开源产品ClickHouse 1.3倍。 固定query_dop=16调优后，DWS查询性能全面超越ClickHouse，是该产品的3.73倍。 表1 SSB测试结果 SSB DWS ClickHouse - 开箱性能 query_dop=16 - Q1.1 0.0670 0.05 0.059 Q1.2 0.0264 0.022 0.021 Q1.3 0.0836 0.057 0.022 Q2.1 0.2309 0.041 0.254 Q2.2 0.3015 0.163 0.281 Q2.3 0.2398 0.05 0.214 Q3.1 0.3182 0.074 0.434 Q3.2 0.1823 0.042 0.348 Q3.3 0.1759 0.081 0.299 Q3.4 0.0239 0.014 0.025 Q4.1 0.2951 0.103 0.456 Q4.2 0.0942 0.037 0.171 Q4.3 0.0645 0.02 0.146 总时长（s） 2.1032 0.754 2.73 父主题： SSB性能测试

性能总览 在9.1.0版本，我们实现了很多性能优化特性，提升整体开箱的SQL查询性能。以TPC-H、TPC-DS 1TB作为性能测试对比的基准，重点对比最新9.1.0版本与8.3.0版本的性能提升。集群规模为6节点，其中各节点的规格为16U 64G，累计96U 384G。从以下测试结果可以看到： 9.1.0版本存算一体架构TPC-H总查询耗时为234.23秒，相较8.3.0版本的533.05秒，性能提升127%。 9.1.0版本存算分离架构与存算一体架构性能劣化在10%以内。 TPC-H 1000x测试基准22个SQL中，9.1.0版本相比8.3.0版本有19个SQL性能提升达到1.5~5倍，特别是Q19提升达13.5倍。 TPC-DS 1000x测试基准99个SQL中，9.1.0版本相比8.3.0版本75个SQL有明显提升，10个SQL性能提升有2~8倍。 不论是简单的过滤、排序、聚集，还是复杂的多表关联、窗口计算、CTE查询，9.1.0版本都有明显性能优势。 表1 TPC-H和TPC-DS性能总览 1000x DWS开箱性能 版本 8.3.0 9.1.0 - 存算一体（s） 存算一体（s） 存算分离（s） TPC-H 533.05 234.23 261.19 TPC-DS 1321.76 971.45 1035.80 在9.1.0版本，我们使用存算分离架构指定二级分区，基于ssb-flat 100 GB测试基准，对比DWS和ClickHouse的性能表现，同时固定并行度参数query_dop为16。从以下测试结果可以看到： 开箱性能相比开源厂商ClickHouse有30%性能优势。 固定并行度为16调优的效果性能提升是ClickHouse的3.64倍。 表2 SSB性能总览 100x DWS ClickHouse ssb-flat 开箱（s） query_dop=16（s） 2.73 2.10 0.75 父主题： 9.1.0版本测试结论

目的 GaussDB(DWS)是云端托管的PB级高并发实时 数据仓库 ，专注于服务OLAP领域，提供按量付费和包年包月两种付费方式。 本次性能测试基于华为云基础环境，分别在同等硬件配置和同等数据规模下，基于TPC-H、TPC-DS标准测试集，对DWS 9.1.0版本和8.3.0版本进行性能对比测试。基于SSB-Flat测试集，对DWS 9.1.0版本和开源OLAP产品ClickHouse进行对比测试。本次性能测试时间为2024年7月。

导入TPC-DS数据 执行以下命令导入数据。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 INSERT INTO customer_address SELECT * FROM customer_address_ext; INSERT INTO customer_demographics SELECT * FROM customer_demographics_ext; INSERT INTO date_dim SELECT * FROM date_dim_ext; INSERT INTO warehouse SELECT * FROM warehouse_ext; INSERT INTO ship_mode SELECT * FROM ship_mode_ext; INSERT INTO time_dim SELECT * FROM time_dim_ext; INSERT INTO reason SELECT * FROM reason_ext; INSERT INTO income_band SELECT * FROM income_band_ext; INSERT INTO item SELECT * FROM item_ext; INSERT INTO store SELECT * FROM store_ext; INSERT INTO call_center SELECT * FROM call_center_ext; INSERT INTO customer SELECT * FROM customer_ext; INSERT INTO web_site SELECT * FROM web_site_ext; INSERT INTO household_demographics SELECT * FROM household_demographics_ext; INSERT INTO web_page SELECT * FROM web_page_ext; INSERT INTO promotion SELECT * FROM promotion_ext; INSERT INTO catalog_page SELECT * FROM catalog_page_ext; INSERT INTO inventory SELECT * FROM inventory_ext; INSERT INTO catalog_returns SELECT * FROM catalog_returns_ext; INSERT INTO web_returns SELECT * FROM web_returns_ext; INSERT INTO store_returns SELECT * FROM store_returns_ext; INSERT INTO web_sales SELECT * FROM web_sales_ext; INSERT INTO catalog_sales SELECT * FROM catalog_sales_ext; INSERT INTO store_sales SELECT * FROM store_sales_ext;

创建TPC-DS目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 CREATE TABLE customer_address ( ca_address_sk integer not null, ca_address_id varchar(16) not null, ca_street_number varchar(10) , ca_street_name varchar(60) , ca_street_type varchar(15) , ca_suite_number varchar(10) , ca_city varchar(60) , ca_county varchar(30) , ca_state varchar(2) , ca_zip varchar(10) , ca_country varchar(20) , ca_gmt_offset decimal(5,2) , ca_location_type varchar(20) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (ca_address_sk); CREATE TABLE customer_demographics ( cd_demo_sk integer not null, cd_gender varchar(1) , cd_marital_status varchar(1) , cd_education_status varchar(20) , cd_purchase_estimate integer , cd_credit_rating varchar(10) , cd_dep_count integer , cd_dep_employed_count integer , cd_dep_college_count integer ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (cd_demo_sk); CREATE TABLE date_dim ( d_date_sk integer not null, d_date_id varchar(16) not null, d_date date , d_month_seq integer , d_week_seq integer , d_quarter_seq integer , d_year integer , d_dow integer , d_moy integer , d_dom integer , d_qoy integer , d_fy_year integer , d_fy_quarter_seq integer , d_fy_week_seq integer , d_day_name varchar(9) , d_quarter_name varchar(6) , d_holiday varchar(1) , d_weekend varchar(1) , d_following_holiday varchar(1) , d_first_dom integer , d_last_dom integer , d_same_day_ly integer , d_same_day_lq integer , d_current_day varchar(1) , d_current_week varchar(1) , d_current_month varchar(1) , d_current_quarter varchar(1) , d_current_year varchar(1) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (d_date_sk) PARTITION BY Range(d_year) ( partition p1 values less than(1950), partition p2 values less than(2000), partition p3 values less than(2050), partition p4 values less than(2100), partition p5 values less than(3000), partition p6 values less than(maxvalue) ); create table warehouse ( w_warehouse_sk integer not null, w_warehouse_id varchar(16) not null, w_warehouse_name varchar(20) , w_warehouse_sq_ft integer , w_street_number varchar(10) , w_street_name varchar(60) , w_street_type varchar(15) , w_suite_number varchar(10) , w_city varchar(60) , w_county varchar(30) , w_state varchar(2) , w_zip varchar(10) , w_country varchar(20) , w_gmt_offset decimal(5,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table ship_mode ( sm_ship_mode_sk integer not null, sm_ship_mode_id varchar(16) not null, sm_type varchar(30) , sm_code varchar(10) , sm_carrier varchar(20) , sm_contract varchar(20) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table time_dim ( t_time_sk integer not null, t_time_id varchar(16) not null, t_time integer , t_hour integer , t_minute integer , t_second integer , t_am_pm varchar(2) , t_shift varchar(20) , t_sub_shift varchar(20) , t_meal_time varchar(20) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (t_time_sk); create table reason ( r_reason_sk integer not null, r_reason_id varchar(16) not null, r_reason_desc varchar(100) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table income_band ( ib_income_band_sk integer not null, ib_lower_bound integer , ib_upper_bound integer ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table item ( i_item_sk integer not null, i_item_id varchar(16) not null, i_rec_start_date date , i_rec_end_date date , i_item_desc varchar(200) , i_current_price decimal(7,2) , i_wholesale_cost decimal(7,2) , i_brand_id integer , i_brand varchar(50) , i_class_id integer , i_class varchar(50) , i_category_id integer , i_category varchar(50) , i_manufact_id integer , i_manufact varchar(50) , i_size varchar(20) , i_formulation varchar(20) , i_color varchar(20) , i_units varchar(10) , i_container varchar(10) , i_manager_id integer , i_product_name varchar(50) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (i_item_sk); create table store ( s_store_sk integer not null, s_store_id varchar(16) not null, s_rec_start_date date , s_rec_end_date date , s_closed_date_sk integer , s_store_name varchar(50) , s_number_employees integer , s_floor_space integer , s_hours varchar(20) , s_manager varchar(40) , s_market_id integer , s_geography_class varchar(100) , s_market_desc varchar(100) , s_market_manager varchar(40) , s_division_id integer , s_division_name varchar(50) , s_company_id integer , s_company_name varchar(50) , s_street_number varchar(10) , s_street_name varchar(60) , s_street_type varchar(15) , s_suite_number varchar(10) , s_city varchar(60) , s_county varchar(30) , s_state varchar(2) , s_zip varchar(10) , s_country varchar(20) , s_gmt_offset decimal(5,2) , s_tax_precentage decimal(5,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table call_center ( cc_call_center_sk integer not null, cc_call_center_id varchar(16) not null, cc_rec_start_date date , cc_rec_end_date date , cc_closed_date_sk integer , cc_open_date_sk integer , cc_name varchar(50) , cc_class varchar(50) , cc_employees integer , cc_sq_ft integer , cc_hours varchar(20) , cc_manager varchar(40) , cc_mkt_id integer , cc_mkt_class varchar(50) , cc_mkt_desc varchar(100) , cc_market_manager varchar(40) , cc_division integer , cc_division_name varchar(50) , cc_company integer , cc_company_name varchar(50) , cc_street_number varchar(10) , cc_street_name varchar(60) , cc_street_type varchar(15) , cc_suite_number varchar(10) , cc_city varchar(60) , cc_county varchar(30) , cc_state varchar(2) , cc_zip varchar(10) , cc_country varchar(20) , cc_gmt_offset decimal(5,2) , cc_tax_percentage decimal(5,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table customer ( c_customer_sk integer not null, c_customer_id varchar(16) not null, c_current_cdemo_sk integer , c_current_hdemo_sk integer , c_current_addr_sk integer , c_first_shipto_date_sk integer , c_first_sales_date_sk integer , c_salutation varchar(10) , c_first_name varchar(20) , c_last_name varchar(30) , c_preferred_cust_flag varchar(1) , c_birth_day integer , c_birth_month integer , c_birth_year integer , c_birth_country varchar(20) , c_login varchar(13) , c_email_address varchar(50) , c_last_review_date varchar(10) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (c_customer_sk); create table web_site ( web_site_sk integer not null, web_site_id varchar(16) not null, web_rec_start_date date , web_rec_end_date date , web_name varchar(50) , web_open_date_sk integer , web_close_date_sk integer , web_class varchar(50) , web_manager varchar(40) , web_mkt_id integer , web_mkt_class varchar(50) , web_mkt_desc varchar(100) , web_market_manager varchar(40) , web_company_id integer , web_company_name varchar(50) , web_street_number varchar(10) , web_street_name varchar(60) , web_street_type varchar(15) , web_suite_number varchar(10) , web_city varchar(60) , web_county varchar(30) , web_state varchar(2) , web_zip varchar(10) , web_country varchar(20) , web_gmt_offset decimal(5,2) , web_tax_percentage decimal(5,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table household_demographics ( hd_demo_sk integer not null, hd_income_band_sk integer , hd_buy_potential varchar(15) , hd_dep_count integer , hd_vehicle_count integer ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (hd_demo_sk); create table web_page ( wp_web_page_sk integer not null, wp_web_page_id varchar(16) not null, wp_rec_start_date date , wp_rec_end_date date , wp_creation_date_sk integer , wp_access_date_sk integer , wp_autogen_flag varchar(1) , wp_customer_sk integer , wp_url varchar(100) , wp_type varchar(50) , wp_char_count integer , wp_link_count integer , wp_image_count integer , wp_max_ad_count integer ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table promotion ( p_promo_sk integer not null, p_promo_id varchar(16) not null, p_start_date_sk integer , p_end_date_sk integer , p_item_sk integer , p_cost decimal(15,2) , p_response_target integer , p_promo_name varchar(50) , p_channel_dmail varchar(1) , p_channel_email varchar(1) , p_channel_catalog varchar(1) , p_channel_tv varchar(1) , p_channel_radio varchar(1) , p_channel_press varchar(1) , p_channel_event varchar(1) , p_channel_demo varchar(1) , p_channel_details varchar(100) , p_purpose varchar(15) , p_discount_active varchar(1) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY replication; create table catalog_page ( cp_catalog_page_sk integer not null, cp_catalog_page_id varchar(16) not null, cp_start_date_sk integer , cp_end_date_sk integer , cp_department varchar(50) , cp_catalog_number integer , cp_catalog_page_number integer , cp_description varchar(100) , cp_type varchar(100) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (cp_catalog_page_sk); create table inventory ( inv_date_sk integer not null, inv_item_sk integer not null, inv_warehouse_sk integer not null, inv_quantity_on_hand integer ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (inv_item_sk) partition by range(inv_date_sk) ( partition p1 values less than(2451179), partition p2 values less than(2451544), partition p3 values less than(2451910), partition p4 values less than(2452275), partition p5 values less than(2452640), partition p6 values less than(2453005), partition p7 values less than(maxvalue) ) ; create table catalog_returns ( cr_returned_date_sk integer , cr_returned_time_sk integer , cr_item_sk integer not null, cr_refunded_customer_sk integer , cr_refunded_cdemo_sk integer , cr_refunded_hdemo_sk integer , cr_refunded_addr_sk integer , cr_returning_customer_sk integer , cr_returning_cdemo_sk integer , cr_returning_hdemo_sk integer , cr_returning_addr_sk integer , cr_call_center_sk integer , cr_catalog_page_sk integer , cr_ship_mode_sk integer , cr_warehouse_sk integer , cr_reason_sk integer , cr_order_number bigint not null, cr_return_quantity integer , cr_return_amount decimal(7,2) , cr_return_tax decimal(7,2) , cr_return_amt_inc_tax decimal(7,2) , cr_fee decimal(7,2) , cr_return_ship_cost decimal(7,2) , cr_refunded_cash decimal(7,2) , cr_reversed_charge decimal(7,2) , cr_store_credit decimal(7,2) , cr_net_loss decimal(7,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (cr_item_sk) partition by range(cr_returned_date_sk) ( partition p1 values less than(2450815), partition p2 values less than(2451179), partition p3 values less than(2451544), partition p4 values less than(2451910), partition p5 values less than(2452275), partition p6 values less than(2452640), partition p7 values less than(2453005), partition p8 values less than(maxvalue) ) ; create table web_returns ( wr_returned_date_sk integer , wr_returned_time_sk integer , wr_item_sk integer not null, wr_refunded_customer_sk integer , wr_refunded_cdemo_sk integer , wr_refunded_hdemo_sk integer , wr_refunded_addr_sk integer , wr_returning_customer_sk integer , wr_returning_cdemo_sk integer , wr_returning_hdemo_sk integer , wr_returning_addr_sk integer , wr_web_page_sk integer , wr_reason_sk integer , wr_order_number bigint not null, wr_return_quantity integer , wr_return_amt decimal(7,2) , wr_return_tax decimal(7,2) , wr_return_amt_inc_tax decimal(7,2) , wr_fee decimal(7,2) , wr_return_ship_cost decimal(7,2) , wr_refunded_cash decimal(7,2) , wr_reversed_charge decimal(7,2) , wr_account_credit decimal(7,2) , wr_net_loss decimal(7,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (wr_item_sk) partition by range(wr_returned_date_sk) ( partition p1 values less than(2450815), partition p2 values less than(2451179), partition p3 values less than(2451544), partition p4 values less than(2451910), partition p5 values less than(2452275), partition p6 values less than(2452640), partition p7 values less than(2453005), partition p8 values less than(maxvalue) ) ; create table store_returns ( sr_returned_date_sk integer , sr_return_time_sk integer , sr_item_sk integer not null, sr_customer_sk integer , sr_cdemo_sk integer , sr_hdemo_sk integer , sr_addr_sk integer , sr_store_sk integer , sr_reason_sk integer , sr_ticket_number bigint not null, sr_return_quantity integer , sr_return_amt decimal(7,2) , sr_return_tax decimal(7,2) , sr_return_amt_inc_tax decimal(7,2) , sr_fee decimal(7,2) , sr_return_ship_cost decimal(7,2) , sr_refunded_cash decimal(7,2) , sr_reversed_charge decimal(7,2) , sr_store_credit decimal(7,2) , sr_net_loss decimal(7,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (sr_item_sk) partition by range(sr_returned_date_sk) ( partition p1 values less than (2451179) , partition p2 values less than (2451544) , partition p3 values less than (2451910) , partition p4 values less than (2452275) , partition p5 values less than (2452640) , partition p6 values less than (2453005) , partition p7 values less than (maxvalue) ) ; create table web_sales ( ws_sold_date_sk integer , ws_sold_time_sk integer , ws_ship_date_sk integer , ws_item_sk integer not null, ws_bill_customer_sk integer , ws_bill_cdemo_sk integer , ws_bill_hdemo_sk integer , ws_bill_addr_sk integer , ws_ship_customer_sk integer , ws_ship_cdemo_sk integer , ws_ship_hdemo_sk integer , ws_ship_addr_sk integer , ws_web_page_sk integer , ws_web_site_sk integer , ws_ship_mode_sk integer , ws_warehouse_sk integer , ws_promo_sk integer , ws_order_number bigint not null, ws_quantity integer , ws_wholesale_cost decimal(7,2) , ws_list_price decimal(7,2) , ws_sales_price decimal(7,2) , ws_ext_discount_amt decimal(7,2) , ws_ext_sales_price decimal(7,2) , ws_ext_wholesale_cost decimal(7,2) , ws_ext_list_price decimal(7,2) , ws_ext_tax decimal(7,2) , ws_coupon_amt decimal(7,2) , ws_ext_ship_cost decimal(7,2) , ws_net_paid decimal(7,2) , ws_net_paid_inc_tax decimal(7,2) , ws_net_paid_inc_ship decimal(7,2) , ws_net_paid_inc_ship_tax decimal(7,2) , ws_net_profit decimal(7,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (ws_item_sk) partition by range(ws_sold_date_sk) ( partition p1 values less than(2451179), partition p2 values less than(2451544), partition p3 values less than(2451910), partition p4 values less than(2452275), partition p5 values less than(2452640), partition p6 values less than(2453005), partition p7 values less than(maxvalue) ) ; create table catalog_sales ( cs_sold_date_sk integer , cs_sold_time_sk integer , cs_ship_date_sk integer , cs_bill_customer_sk integer , cs_bill_cdemo_sk integer , cs_bill_hdemo_sk integer , cs_bill_addr_sk integer , cs_ship_customer_sk integer , cs_ship_cdemo_sk integer , cs_ship_hdemo_sk integer , cs_ship_addr_sk integer , cs_call_center_sk integer , cs_catalog_page_sk integer , cs_ship_mode_sk integer , cs_warehouse_sk integer , cs_item_sk integer not null, cs_promo_sk integer , cs_order_number bigint not null, cs_quantity integer , cs_wholesale_cost decimal(7,2) , cs_list_price decimal(7,2) , cs_sales_price decimal(7,2) , cs_ext_discount_amt decimal(7,2) , cs_ext_sales_price decimal(7,2) , cs_ext_wholesale_cost decimal(7,2) , cs_ext_list_price decimal(7,2) , cs_ext_tax decimal(7,2) , cs_coupon_amt decimal(7,2) , cs_ext_ship_cost decimal(7,2) , cs_net_paid decimal(7,2) , cs_net_paid_inc_tax decimal(7,2) , cs_net_paid_inc_ship decimal(7,2) , cs_net_paid_inc_ship_tax decimal(7,2) , cs_net_profit decimal(7,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (cs_item_sk) partition by range(cs_sold_date_sk) ( partition p1 values less than(2451179), partition p2 values less than(2451544), partition p3 values less than(2451910), partition p4 values less than(2452275), partition p5 values less than(2452640), partition p6 values less than(2453005), partition p7 values less than(maxvalue) ) ; create table store_sales ( ss_sold_date_sk integer , ss_sold_time_sk integer , ss_item_sk integer not null, ss_customer_sk integer , ss_cdemo_sk integer , ss_hdemo_sk integer , ss_addr_sk integer , ss_store_sk integer , ss_promo_sk integer , ss_ticket_number bigint not null, ss_quantity integer , ss_wholesale_cost decimal(7,2) , ss_list_price decimal(7,2) , ss_sales_price decimal(7,2) , ss_ext_discount_amt decimal(7,2) , ss_ext_sales_price decimal(7,2) , ss_ext_wholesale_cost decimal(7,2) , ss_ext_list_price decimal(7,2) , ss_ext_tax decimal(7,2) , ss_coupon_amt decimal(7,2) , ss_net_paid decimal(7,2) , ss_net_paid_inc_tax decimal(7,2) , ss_net_profit decimal(7,2) ) WITH (orientation = column, colversion=2.0,enable_hstore=true,enable_hstore_opt=true) DISTRIBUTE BY hash (ss_item_sk) partition by range(ss_sold_date_sk) ( partition p1 values less than(2451179), partition p2 values less than(2451544), partition p3 values less than(2451910), partition p4 values less than(2452275), partition p5 values less than(2452640), partition p6 values less than(2453005), partition p7 values less than(maxvalue) ) ;

jsonb高级特性 json和jsonb的主要差异在于存储方式上的不同，jsonb存储的是解析后的二进制，能够体现JSON的层次结构，更便于直接访问等，因此jsonb较json具有很多高级特性。 格式归一化 对于输入的object-json字符串，解析成jsonb二进制后，会天然的丢弃语义上无关紧要的细节，比如空格： 1 2 3 4 5 SELECT ' [1, " a ", {"a" :1 }] '::jsonb; jsonb ---------------------- [1, " a ", {"a": 1}] (1 row) 对于object-json，会删除重复的键值，只保留最后一个出现的，例如： 1 2 3 4 5 SELECT '{"a" : 1, "a" : 2}'::jsonb; jsonb ---------- {"a": 2} (1 row) 对于object-json，键值会重新进行排序，排序规则：长度长的在后、长度相等则ascii码大的在后，例如： 1 2 3 4 5 SELECT '{"aa" : 1, "b" : 2, "a" : 3}'::jsonb; jsonb --------------------------- {"a": 3, "b": 2, "aa": 1} (1 row)

输入格式 json和jsonb输入必须是一个符合JSON数据格式的字符串，此字符串用单引号''声明。 null (null-json)：仅null，全小写。 1 2 SELECT 'null'::json; -- suc SELECT 'NULL'::jsonb; -- err 数字 (num-json)：正负整数、小数、0，支持科学计数法。 1 2 3 4 SELECT '1'::json; SELECT '-1.5'::json; SELECT '-1.5e-5'::jsonb, '-1.5e+2'::jsonb; SELECT '001'::json, '+15'::json, 'NaN'::json; -- 不支持多余的前导0，正数的+号，以及NaN和infinity。 布尔(bool-json)：仅true、false，全小写。 1 2 SELECT 'true'::json; SELECT 'false'::jsonb; 字符串(str-json)：必须是加双引号的字符串。 1 2 SELECT '"a"'::json; SELECT '"abc"'::jsonb; 数组(array-json)：使用中括号[]包裹，满足数组书写条件。数组内元素类型可以是任意合法的JSON，且不要求类型一致。 1 2 3 SELECT '[1, 2, "foo", null]'::json; SELECT '[]'::json; SELECT '[1, 2, "foo", null, [[]], {}]'::jsonb; 对象(object-json)：使用大括号{}包裹，键必须是满足JSON字符串规则的字符串，值可以是任意合法的JSON。 1 2 3 SELECT '{}'::json; SELECT '{"a": 1, "b": {"a": 2, "b": null}}'::json; SELECT '{"foo": [true, "bar"], "tags": {"a": 1, "b": null}}'::jsonb;

列存表支持的数据类型 列存表支持的数据类型如表1所示。其他未列举的数据类型，暂不支持。 表1 列存表支持的数据类型 类别 数据类型 描述 长度 数值类型 smallint 小范围整数，别名为INT2。 2 integer 常用的整数，别名为INT4。 4 bigint 大范围的整数，别名为INT8。 8 decimal 任意精度型。 可变长度 numeric 任意精度型。 可变长度 real 单精度浮点数。 4 double precision 双精度浮点数。 8 smallserial 二字节序列整型。 2 serial 四字节序列整型。 4 bigserial 八字节序列整型。 8 货币类型 money 货币金额。 8 字符类型 character varying(n), varchar(n) 变长字符串。 可变长度 character(n), char(n) 定长字符串。 n character、char 单字节内部类型。 1 text 变长字符串。 可变长度 nvarchar2 变长字符串。 可变长度 clob 文本大对象。 可变长度 日期/时间类型 timestamp with time zone 日期和时间，带时区。 8 timestamp without time zone 日期和时间。 8 date Oracle兼容模式下记录日期和时间；其他兼容模式下，记录日期。 Oracle兼容模式下，占存储空间8字节；其他兼容模式下，占存储空间4字节。 time without time zone 只用于一日内时间。 8 time with time zone 只用于一日内时间，带时区。 12 interval 时间间隔。 16 JSON类型 json - - jsonb - - RoaringBitmap - 高效位图，支持int类型数据集位图计算。 可变长度 父主题： 数据类型

9.1.0.210版本（2024年11月25日） 【存算分离】 支持通过使用explain warmup进行缓存预热，可以把数据预热到本地磁盘缓存的冷端或者热端。 弹性VW功能增强：更灵活的业务分流方式，支持以CN粒度配置业务分流到主VW或者弹性VW。 存算分离表支持insert并行，提升数据加载性能。 存算分离表支持回收站，可以对drop table/partition, truncate table/partition等误操作进行快速闪回。 冷热表支持使用磁盘缓存、异步IO进行性能加速。 【实时数仓】 limit…offset翻页场景性能大幅提升；inlist场景性能大幅提升。 正式商用Binlog特性。 自动分区支持整型和变长类型的时间列。 【湖仓一体】 parquet/orc读写新增对zstd压缩格式的支持。 Create table like支持使用external schema中的表作为like源表。 外表支持并行导出。 【高可用】 存算分离表和冷热表支持增量备份恢复。 通过并行拷贝优化存算分离场景的备份性能。 【生态兼容】 兼容MySQL的replace into语法，interval时间类型。 pg_get_tabledef导出支持字段展示comment。 【运维&稳定性提升】 磁盘使用率高时，支持配置从备数据转储到OBS。 当数据库即将发生只读时，拦截一些发生下盘的语句和产生新表和新物理文件的语句，以此快速回收磁盘空间，保证其它语句执行。 支持审计日志转储到OBS。 新增轻量级锁视图pgxc_lwlocks。 常规锁视图新增锁获取和等待时间戳。 全局死锁检测功能默认打开。 新增vacuum full与select之间的让锁功能。 gs_view_invalid增加失效时间，辅助运维人员清理无效对象 【规格&约束】 最大支持256个VW，每个VW 最大支持1024个DN。建议VW不超过32个，每个VW不超过128个DN。 OBS存算分离表不支持容灾，不支持细粒度备份恢复。 【行为变更】 升级开启max_process_memory自适应功能，主备均衡模式下，增加DN可用内存。 扩容数据重分布默认开启数据一致性校验，扩容时间会增加10%。 新建Hstore_opt表，默认打开turbo引擎，压缩级别默认为middle。 存算分离表OBS路径默认显示为相对路径。 使用磁盘缓存(diskcache)必须同时打开异步IO参数。 列存表的索引清理时间间隔从1小时调小为10分钟，可以更快速地清理占用的索引空间。 CREATE TABLE和ALTER TABLE不支持将有on update表达式的列设置为分布列。 Parquet数据查询，读取INT96格式保存的Timestamp数据时不再做8小时修正。 max_stream_pool用于控制stream线程池缓存的线程数量，默认值由65525调整至1024，避免空闲线程内存占用过大。 track_activity_query_size参数从动态生效调整为重启生效。 不再支持逻辑复制功能，相关接口调用会报错。