检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TPC-DS数据构建 登录ECS云服务器,执行如下命令创建TPC-DS存放目录。 1 2 mkdir -p /data1/script/tpcds-kit/tpcds1000X mkdir -p /data2/script/tpcds-kit/tpcds1000X 从官网获取T
步骤5:测试新的表结构下的系统性能 重新创建了具有存储方式、压缩级别、分布方式和分布列的测试数据集后,重新测试系统性能。 记录各表的存储使用情况。 使用pg_size_pretty函数查询每张表使用的磁盘空间,并将结果记录到基准表中。 1 SELECT T_NAME, PG_SI
概述 本性能测试基于TPC-H和TPC-DS标准测试集进行测试。 TPC-H TPC-H由国际事务处理性能委员会(Transaction Processing Performance Council)制定发布,用于评测数据库的分析查询能力。TPC-H查询包含8张数据表和22条复杂
regdictionary[], OUT dictionary regdictionary, OUT lexemes text[]) 描述:测试一个配置。 返回类型:setof record 示例: 1 2 3 4 5 6 7 8 9 SELECT ts_debug('english'
regdictionary[], OUT dictionary regdictionary, OUT lexemes text[]) 描述:测试一个配置。 返回类型:setof record 示例: 1 2 3 4 5 6 7 8 9 SELECT ts_debug('english'
步骤2:测试初始表结构下的系统性能并建立基线 在优化表结构前后,请测试和记录以下详细信息以对比系统性能差异: 数据加载时间。 表占用的存储空间大小。 查询性能。 本次实践中的示例基于使用8节点的dws.d2.xlarge集群。因为系统性能受到许多因素的影响,即使您使用相同的集群配置,结果也会有所不同。
使用gsql连接DWS 使用gsql连接DWS集群 进入到ECS的/opt目录下,并执行环境变量。 1 2 cd /opt source gsql_env.sh 执行以下命令连接GaussDB(DWS)数据库。其中,<DWS的内网IP>、<用户dbadmin密码>从创建数据仓库GaussDB(DWS)获取。
创建弹性云服务器ECS和数据仓库GaussDB(DWS) 创建弹性云服务器ECS 创建数据仓库GaussDB(DWS) 父主题: 测试方法
准备数据构建工具编译环境 远程连接ECS弹性云服务器。 执行以下命令, 安装git。 yum install git 执行以下命令,安装gcc。 yum install gcc 父主题: 构建TPC-H&TPC-DS使用数据
Studio图形界面客户端,该工具依赖JDK,请先在客户端主机上安装JDK。 仅支持Java 1.8版本的JDK。 在Windows操作系统中,您可以访问JDK官网网站,下载符合操作系统版本的JDK,并根据指导进行安装。 登录GaussDB(DWS)管理控制台。在左侧导航栏中,单击“管理 > 连接客户端”,进入“下载客户端和驱动”页面。
通过编写shell脚本自动化执行查询和结果收集 登录ECS,进入到/opt目录下,使用vim命令生成query.conf和run_query.sh两个脚本文件。脚本内容如下,编辑后按:wq!保存脚本配置。 run_query.sh脚本如下: 1 2 3 4 5 6 7
"cannot AND inet values of different sizes" SQLSTATE: 22023 错误原因:不支持IPv4地址和IPv6同时作为AND的操作数。 解决办法:建议检查AND的左右操作数是否为相同IP地址族。 GAUSS-02907: "cannot OR inet
支持的端口范围为8000~30000。 8000 开启IPv6功能 设置该集群是否开启IPv6双栈功能。开关开启时,客户端或应用程序可通过IPv6的IP连接数据库。 说明: 开启IPv6需同时满足以下3个条件: 7配置网络时的子网是IPv6双栈子网。 集群规格支持IPv6且支持最多网卡数大于等于3。 仅8
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格
特定特征的目标用户群体进行广告推送。 在教育行业中,需要根据学生不同的特征,推送有针对性的练习题目,帮助学生查漏补缺。 在搜索、视频、门户网站中,根据用户关注的热点,推送不同的内容。 这些业务场景都有一些共同的特点: 数据量庞大,运算量极大。 用户规模庞大,标签多,字段多,占用存储空间也多。
特定特征的目标用户群体进行广告推送。 在教育行业中,需要根据学生不同的特征,推送有针对性的练习题目,帮助学生查漏补缺。 在搜索、视频、门户网站中,根据用户关注的热点,推送不同的内容。 这些业务场景都有一些共同的特点: 数据量庞大,运算量极大。 用户规模庞大,标签多,字段多,占用存储空间也多。
> 队列管理”,选择dli_dws所在行操作列的“更多 > 测试地址连通性”。 在地址栏中,输入1.a获取的Kafka实例的内网IP和端口(Kafka的地址有三个,输入一个即可)。 图7 测试kafka连通性 单击“测试”,验证DLI连通Kafka成功。 进入到DWS管理控制台,左侧导航栏单击“专属集群
创建弹性云服务器ECS 参考《弹性云服务器用户指南》创建弹性云服务器,创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大,以TPC-DS 1000X和TPC-H 1000X为例,分别占用930GB和1100GB。请创建弹性云服务器时,根据需求添加数据盘,举例如下:
先不指定存储方式,分布键、分布方式和压缩方式创建表,然后为这些表加载测试数据并测试系统性能。接下来,您将应用调优表实践以使用新的存储方式、分布键、分布方式和压缩方式重新创建这些表,并再次为这些表加载测试数据和测试系统性能,以便比较不同的设计对表的加载性能、存储空间和查询性能的影响。
案例:使排序下推 在做场景性能测试时,发现某场景大部分时间是CN端在做window agg,占到总执行时间95%以上,系统资源不能充分利用。研究发现该场景的特点是:将两列分别求sum作为一个子查询,外层对两列的和再求和后做trunc,然后排序。可以尝试将语句改写为子查询,使排序下推。