检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存算一体架构的EVS规格。集群版本在8.1.1.300及以后版本支持。 具体操作参见弹性变更规格。 图4 弹性变更规格 集群扩容 集群扩容是分布式MPPDB架构横向扩展的典型场景,通过添加对等同构的节点到当前集群来完成集群规模横向扩展的能力。DWS 2.0属于存算一体架构,因此集群扩容同时扩容了计算能力和存储能力。
6还是ARM架构? 操作步骤 登录GaussDB(DWS)管理控制台。 单击“专属集群 > 集群列表”。默认显示用户所有的集群列表。 在集群列表中,单击指定集群名称进入“集群详情”页面,在“基本信息”模块查看指定集群的节点规格。 根据节点规格在表格中查找对应的集群架构。规格说明如下所示:
Processing,简称MPP,也可称为无共享架构),是指在GaussDB(DWS)集群的每个节点中,都有独立的内存计算和磁盘存储系统,GaussDB(DWS)根据数据库模型和应用特点,将业务数据划分到不同节点上,通过节点间的网络彼此连接协同计算,使集群作为整体提供数据库服务以满足业务需要。 无共享架构 无共享架构(Shared
订阅实时数仓Binlog Binlog使用介绍 当用户需要捕获数据库事件用于数据增量导出Flink等第三方组件,并协同完成数据加工等任务时,DWS实时数仓中的HStore表提供了Binlog功能,通过消费Binlog数据来实现上下游的数据同步,提高数据加工的效率。 传统的数据比如
数据倾斜调优 数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。
数据库逻辑结构图 集群物理架构 GaussDB(DWS)支持存算一体架构和存算分离架构。 其中,存算一体架构,数据存储在DN本地盘上。存算分离架构,DN本地盘仅做数据缓存和存储元数据,用户数据存储在OBS对象存储上。您可以根据需要选择相应的架构。 图3 架构选择 存算一体架构 GaussDB
存算分离使用建议及性能优化 场景介绍 GaussDB(DWS)全新推出云原生数仓DWS 3.0版本,利用云基础设施提供的资源池化和海量存储能力,结合MPP数据库技术,采用计算存储分离架构,实现了极致弹性、实时入库、数据实时共享和湖仓一体等特性。 了解更多存算分离知识,请参见什么是数据仓库服务。
数据倾斜调优 数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。
技术支持 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Terada
据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive Parallel Processor,大规模并发处理)系统,采用水平分布的方式,将业务数据表的元组按合适的分布策略分散存储在所有的DN。
地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。架构图如下所示: Region内容灾特性仅8.1.1及以上集群版本支持。 存算一体(单机部署)不支持容灾功能。 存算分离集群和多AZ集群暂不支持容灾功能。
委托GaussDB(DWS)管理资源 由于华为云各服务之间存在业务交互关系,一些运维操作需要与其他云服务协同完成,在使用这部分功能前需要您创建云服务委托,将操作权限委托给GaussDB(DWS),让GaussDB(DWS)以您的身份使用其他云服务,代替您进行一些资源运维工作。 我
磁盘缓存主动预热调优 该功能仅9.1.0.200及以上版本支持。 背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,
数据共享函数 pgxc_group_add_subscription(src_vw_name, target_vw_name) 描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs
创建存算分离集群时规格仅显示后半部分(例如4U16G.4DPU),下列规格列表中前缀(dwsx3/dwsax3/dwsk3)代表存算分离对应的CPU架构。 表5 存算分离云盘规格 规格名称 CPU架构 vCPU 内存(GB) 单节点存储容量 步长(GB) DN数量 使用场景 dwsx3.4U16G.4DPU X86
外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。 违反规范的影响: B集群(远端集群)中C
外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。 违反规范的影响: B集群(远端集群)中C
级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离:采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。
TPC-H测试结果 DWS测试了使用存算一体和存算分离两种部署架构下,TPC-H 1T规模数据集的开箱查询性能,共22个查询。存算一体查询总耗时为170.08s,存算分离查询总耗时为172.62s。 图1 TPC-H 1000X开箱性能 详细性能数据见下表。 表1 TPC-H测试结果
TPC-DS测试结果 本测试主要包括使用存算一体和存算分离两种部署架构下,TPC-DS 1T规模数据集的开箱查询性能,共99个查询。存算一体查询总耗时为622.21s,存算分离查询总耗时为645.42s。详细结果见下表。 表1 TPC-DS测试结果 TPC-DS查询 8.3.0 9