检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GaussDB(DWS)存算一体架构弹性伸缩系统性介绍 弹性伸缩是云服务一个非常重要的特性,可以使云服务根据算力需求和资源负荷情况调整计算和存储资源配置,以达到性能最优和降低成本的目的。 一般分布式架构软件弹性伸缩都涉及如下几个维度: Scale Out(即横向扩展,向外扩展) Scale
6还是ARM架构? 操作步骤 登录GaussDB(DWS)管理控制台。 单击“专属集群 > 集群列表”。默认显示用户所有的集群列表。 在集群列表中,单击指定集群名称进入“集群详情”页面,在“基本信息”模块查看指定集群的节点规格。 根据节点规格在表格中查找对应的集群架构。规格说明如下所示:
Processing,简称MPP,也可称为无共享架构),是指在GaussDB(DWS)集群的每个节点中,都有独立的内存计算和磁盘存储系统,GaussDB(DWS)根据数据库模型和应用特点,将业务数据划分到不同节点上,通过节点间的网络彼此连接协同计算,使集群作为整体提供数据库服务以满足业务需要。 无共享架构 无共享架构(Shared
计算子集群函数 pv_compute_pool_workload() 描述:返回计算子集群当前的负载状态。 返回类型:void 示例: 1 2 3 4 5 6 SELECT * from pv_compute_pool_workload(); nodename | rpinuse
数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。 计算上的倾斜会严重
数据库逻辑结构图 集群物理架构 GaussDB(DWS)支持存算一体架构和存算分离架构。 其中,存算一体架构,数据存储在DN本地盘上。存算分离架构,DN本地盘仅做数据缓存和存储元数据,用户数据存储在OBS对象存储上。您可以根据需要选择相应的架构。 图3 架构选择 存算一体架构 GaussDB
计算子集群函数 pv_compute_pool_workload() 描述:返回计算子集群当前的负载状态。 返回类型:void 示例: SELECT * from pv_compute_pool_workload(); nodename | rpinuse | maxrp |
存算分离使用建议及性能优化 场景介绍 GaussDB(DWS)全新推出云原生数仓DWS 3.0版本,利用云基础设施提供的资源池化和海量存储能力,结合MPP数据库技术,采用计算存储分离架构,实现了极致弹性、实时入库、数据实时共享和湖仓一体等特性。 了解更多存算分离知识,请参见什么是数据仓库服务。
参数解释 样例值 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。 如何创建虚拟私有云,具体请参见《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。
OBS存储,支持高吞吐实时写入与更新,同时支持大批量写入场景。 数据实时写入并经实时计算之后,可以用于实时大屏、实时分析、实时监控、实时风控、实时推荐。 多VW支持业务隔离和极致弹性(存算分离架构) 通过多VW实现业务的负载隔离,相比资源管理的软隔离,基于VW的虚拟机级别的硬隔离可以最大化的降低业务间的互相影响。
数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。 计算上的倾斜会严重
几何函数 area(object) 描述:计算图形的面积。 返回类型:double precision 示例: 1 2 3 4 5 SELECT area(box '((0,0),(1,1))') AS RESULT; result -------- 1 (1 row)
SELECT操作规范 规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
“库、仓、市、湖”一体化的融合分析业务。 存算分离:采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。 GaussDB(DWS)数仓
SELECT操作规范 规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
支持在计划时间段内,动态创建、删除计算逻辑集群,实现计算资源动态伸缩。 通过手动添加定时增删计划创建的逻辑集群主要用于提供计算能力,关联用户后该用户的查询都会切换到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 一个用户仅支持绑定到一个计算逻辑集群上。 若删除逻辑集群时,该逻
几何函数 area(object) 描述:计算图形的面积。 返回类型:double precision 示例: 1 2 3 4 5 SELECT area(box '((0,0),(1,1))') AS RESULT; result -------- 1 (1 row)
指标包括: 资源池:资源池名称。 监控:单击弹出侧拉栏展示CPU、内存、磁盘等资源池资源的消耗历史趋势。 CPU使用率:资源池的实时CPU计算资源使用率。 共享配额:当前资源池的用户在执行作业时可以使用的CPU时间比例。 存储资源:资源池的存储空间。 磁盘使用率:资源池的实时磁盘使用率。
导入过程存储倾斜即时检测 导入过程中对DN导入行数进行统计,导入完成后计算倾斜率,超过一定阈值时,立即进行告警。倾斜率通过(DN导入行数最大值-DN导入行数最小值)/导入总行数计算。目前,只支持INSERT和COPY导入。 必须设置enable_stream_operator=o
磁盘缓存主动预热调优 该功能仅9.1.0.200及以上版本支持。 背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,