正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GaussDB(DWS)存算一体架构弹性伸缩系统性介绍 弹性伸缩是云服务一个非常重要的特性,可以使云服务根据算力需求和资源负荷情况调整计算和存储资源配置,以达到性能最优和降低成本的目的。 一般分布式架构软件弹性伸缩都涉及如下几个维度: Scale Out(即横向扩展,向外扩展) Scale
6还是ARM架构? 操作步骤 登录GaussDB(DWS)管理控制台。 单击“专属集群 > 集群列表”。默认显示用户所有的集群列表。 在集群列表中,单击指定集群名称进入“集群详情”页面,在“基本信息”模块查看指定集群的节点规格。 根据节点规格在表格中查找对应的集群架构。规格说明如下所示:
Processing,简称MPP,也可称为无共享架构),是指在GaussDB(DWS)集群的每个节点中,都有独立的内存计算和磁盘存储系统,GaussDB(DWS)根据数据库模型和应用特点,将业务数据划分到不同节点上,通过节点间的网络彼此连接协同计算,使集群作为整体提供数据库服务以满足业务需要。 无共享架构 无共享架构(Shared
ALTER FOREIGN TABLE (SQL on other GaussDB(DWS)) 功能描述 对协同分析的外表进行修改。 注意事项 无。 语法格式 设置外表属性: 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] tablename OPTIONS
CREATE FOREIGN TABLE (SQL on other GaussDB(DWS)) 功能描述 在当前数据库创建一个协同分析的外表,用来访问存储在协同分析其他集群数据库中的表。 该外表是只读的,只能用于查询操作,可直接使用SELECT语句查询其数据。 语法格式 1 2 3 4
ALTER FOREIGN TABLE (SQL on other GaussDB(DWS)) 功能描述 对协同分析的外表进行修改。 注意事项 无。 语法格式 设置外表属性: 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] tablename OPTIONS
ALTER FOREIGN TABLE (SQL on other GaussDB(DWS)) 功能描述 对协同分析的外表进行修改。 注意事项 无。 语法格式 设置外表属性: 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] tablename OPTIONS
CREATE FOREIGN TABLE (SQL on other GaussDB(DWS)) 功能描述 在当前数据库创建一个协同分析的外表,用来访问存储在协同分析其他集群数据库中的表。 该外表是只读的,只能用于查询操作,可直接使用SELECT语句查询其数据。 语法格式 1 2 3 4
CREATE FOREIGN TABLE (SQL on other GaussDB(DWS)) 功能描述 在当前数据库创建一个协同分析的外表,用来访问存储在协同分析其他集群数据库中的表。 该外表是只读的,只能用于查询操作,可直接使用SELECT语句查询其数据。 语法格式 1 2 3 4
性能。 全并行的数据查询处理 GaussDB(DWS)是采用Shared-nothing架构的MPP系统,其由众多拥有独立且互不共享CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成
数据倾斜调优 数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。
订阅实时数仓Binlog Binlog使用介绍 当用户需要捕获数据库事件用于数据增量导出Flink等第三方组件,并协同完成数据加工等任务时,DWS实时数仓中的HStore表提供了Binlog功能,通过消费Binlog数据来实现上下游的数据同步,提高数据加工的效率。 传统的数据比如
订阅实时数仓Binlog Binlog使用介绍 当用户需要捕获数据库事件用于数据增量导出Flink等第三方组件,并协同完成数据加工等任务时,DWS实时数仓中的HStore表提供了Binlog功能,通过消费Binlog数据来实现上下游的数据同步,提高数据加工的效率。 传统的数据比如
数据库逻辑结构图 集群物理架构 GaussDB(DWS)支持存算一体(2.0)架构和存算分离(3.0)架构。 其中,存算一体架构,数据存储在DN本地盘上。存算分离架构,DN本地盘仅做数据缓存和存储元数据,用户数据存储在OBS对象存储上。您可以根据需要选择相应的架构。 图3 架构选择 存算一体(2
地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。架构图如下所示: Region内容灾特性仅8.1.1及以上集群版本支持。 实时数仓(单机部署)不支持容灾功能。 DWS 3.0集群和多AZ集群暂不支持容灾功能。
048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。 标准数仓(DWS 3.0):采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。
测试结果 本测试主要包括使用存算一体和存算分离两种部署架构下,TPC-H 1T规模数据集的开箱查询性能,共99个查询。存算一体查询总耗时为971.45s,存算分离查询总耗时为1035.80s。详细结果见下表。 表1 TPC-DS测试结果 TPC-DS查询 8.3.0 9.1.0 -
测试结果 DWS测试了使用存算一体和存算分离两种部署架构下,TPC-H 1T规模数据集的开箱查询性能,共22个查询。存算一体查询总耗时为234.23s,存算分离查询总耗时为261.19s。 详细性能数据见下表。 表1 TPC-H测试结果 版本 8.3.0 9.1.0 - 存算一体
步长指在集群变配过程中增大或减小磁盘大小的间隔大小。用户在操作时需要按照对应规格的存储步长来选择。 表1 标准数仓(DWS 2.0)云盘规格 规格名称 CPU架构 vCPU 内存(GB) 单节点存储容量 默认存储 步长(GB) 建议存储 DN数量 使用场景 dwsx2.xlarge.m7 X86 4
请谨慎执行TRUNCATE TABLE,确认表数据可以删除后,再执行删除操作。TRUNCATE TABLE命令删除表数据后,数据将无法恢复。 存算分离架构下,不支持同时TRUNCATE普通表和临时表。 TRUNCATE TABLE说明 TRUNCATE TABLE在功能上与不带WHERE子句