检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调优前:学习表结构设计 在本实践中,您将学习如何优化表的设计。您首先不指定存储方式,分布键、分布方式和压缩方式创建表,然后为这些表加载测试数据并测试系统性能。接下来,您将应用调优表实践以使用新的存储方式、分布键、分布方式和压缩方式重新创建这些表,并再次为这些表加载测试数据和测试系
支持中文字符 输入:中文( 1 CREATE TABLE test11(a int,b int)/*CREATE TABLE test11(a int,b int)*/; 输出 1 CREATE TABLE test11 (a INT,b INT)/*CREATE TABLE test11(a int
(1 row) 处理方法 varchar(n)为变长类型,n代表可存储的最大字节数。中文字符通常占用3~4个字节。 请根据实际的中文字符长度,增加该字段的字段长度。示例中某字段要存储8个中文字符,则需要设置n至少为32,即VARCHAR(32)。 父主题: 数据库使用
在步骤1:创建初始表并加装样例数据中没有指定压缩比,GaussDB(DWS)默认为用户选择LOW级别压缩比。在这一步中把压缩比调整为MIDDLE级别,进行验证对比。 增加存储方式和压缩比后的建表样例如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
查看输出文件和日志 查看并验证输出文件 迁移流程结束后,用户可使用对比工具(例如BeyondCompare®)将输入文件与输出文件进行比较。为了简化对比过程,也可以先对源SQL文件进行格式化。 在Linux操作系统上运行以下命令以查看输出文件夹中的迁移文件。Windows操作系统不再赘述。
SSB测试结果 经过针对SSB宽表场景对DWS和开源OLAP产品ClickHouse的对比测试发现:使用hstore_opt表,配合turbo存储、turbo引擎, DWS查询性能整体优于开源产品ClickHouse 2倍。 表1 SSB测试结果 SSB DWS ClickHouse
性能总览 在9.1.0版本,我们实现了很多性能优化特性,提升整体开箱的SQL查询性能。以TPC-H、TPC-DS 1TB作为性能测试对比的基准,重点对比最新9.1.0版本与8.3.0版本的性能提升。集群规模为6节点,其中各节点的规格为16U 64G,累计96U 384G。从以下测试结果可以看到:
教程指引 本教程旨在演示使用GDS(General Data Service)工具将远端服务器上的数据导入GaussDB(DWS)中的过程,帮助您学习如何通过GDS进行数据导入的方法。 GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 在本教程中,您将:
来自特定来源的货物;而湖泊的水来自河流、溪流和其他来源,并且是原始数据。 表2 数据湖与数据仓库的对比 维度 数据湖 数据仓库 应用场景 可以探索性分析所有类型的数据,包括机器学习、数据发现、特征分析、预测等。 通过历史的结构化数据进行数据分析。 使用成本 起步成本低,后期成本较高。
SDK列表 表1提供了GaussDB(DWS)支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 表1 GaussDB(DWS)支持的SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3
package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" dws "github.com/huaweicloud/huaweicloud-sdk
例如,可以创建复杂条件的计算函数并且后面用它们来定义操作符或把它们用于索引表达式。 SQL被大多数数据库用作查询语言。它是可移植的并且容易学习。但是每一个SQL语句必须由数据库服务器单独执行。 这意味着客户端应用必须发送每一个查询到数据库服务器、等待它被处理、接收并处理结果、做一
例如,可以创建复杂条件的计算函数并且后面用它们来定义操作符或把它们用于索引表达式。 SQL被大多数数据库用作查询语言。它是可移植的并且容易学习。但是每一个SQL语句必须由数据库服务器单独执行。 这意味着客户端应用必须发送每一个查询到数据库服务器、等待它被处理、接收并处理结果、做一
rl文件中的Teradata BTEQ或SQL_LANG脚本迁移到兼容Perl文件的GaussDB(DWS)中。迁移Perl文件后,可使用对比工具比较输入和输出文件进行验证。 Perl文件迁移流程如下: 完成前提条件中的步骤。 创建输入文件夹,并将待迁移Perl文件复制到该文件夹
package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" dws "github.com/huaweicloud/huaweicloud-sdk
于TPC-H、TPC-DS标准测试集,对DWS 9.1.0版本和8.3.0版本进行性能对比测试。基于SSB-Flat测试集,对DWS 9.1.0版本和开源OLAP产品ClickHouse进行对比测试。本次性能测试时间为2024年11月。 TPC-H TPC-H由国际事务处理性能委员会(Transaction
用情况,以MemoryContext节点来统计。 其中内存上下文“TempSmallContextGroup”,记录当前线程中所有内存上下文字段“totalsize”小于8192字节的信息汇总,并且内存上下文统计计数记录到“usedsize”字段中。所以在视图中,“TempSma
用情况,以MemoryContext节点来统计。 其中内存上下文“TempSmallContextGroup”,记录当前线程中所有内存上下文字段“totalsize”小于8192字节的信息汇总,并且内存上下文统计计数记录到“usedsize”字段中。所以在视图中,“TempSma
步骤4:创建新表并加载数据 为每张表选择了存储方式、压缩级别、分布方式和分布列后,使用这些属性创建表并重新加载数据。以便对比表设计前后的系统性能。 执行CREATE TABLE创建表前,删除前面创建的表。 1 2 3 4 5 6 7 8 9 10 11 12 13
Oracle/TD/MySQL兼容模式下查询结果不一致 问题现象 某业务场景中有两套集群环境,在数据量一致的情况下,对比发现两套环境执行相同的SQL语句但执行结果不同。 该场景中使用的语法可以简化为以下逻辑: 1 2 3 4 CREATE TABLE test (a text, b