检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单的ECS+EVS部署结构: ECS提供计算资源,包括CPU、内存配置,DWS数据库实例(CN、DN等)都部署在ECS上。 EVS提供存储资源,每个DN都会挂载一块EVS云盘。 而组成DWS集群的所有ECS节点都部署在同一个VPC内部,提供高速网络通道。 部署在ECS上的所有数据
6还是ARM架构? 操作步骤 登录GaussDB(DWS)管理控制台。 单击“专属集群 > 集群列表”。默认显示用户所有的集群列表。 在集群列表中,单击指定集群名称进入“集群详情”页面,在“基本信息”模块查看指定集群的节点规格。 根据节点规格在表格中查找对应的集群架构。规格说明如下所示:
容灾,即在另一个可用分区(Region内)部署一个同构的GaussDB(DWS)灾备集群,如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。架构图如下所示: Region内容灾特性仅8
单击“下一步:网络配置”。 配置网络。 表2 网络参数说明 参数名 参数解释 样例值 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。 如
一个ECS上部署了2主2备,该机器要至少挂载 4 * 500G 磁盘容量。 成本敏感客户:每个DN主备各挂载最小200G(每块盘带宽160MB/s)。 OBS配置 OBS要求3AZ部署并支持并行文件系统。 OBS性能: 如需调整OBS性能指标,请联系技术支持。公有云场景,6个DN
数据库逻辑结构图 集群物理架构 GaussDB(DWS)支持存算一体架构和存算分离架构。 其中,存算一体架构,数据存储在DN本地盘上。存算分离架构,DN本地盘仅做数据缓存和存储元数据,用户数据存储在OBS对象存储上。您可以根据需要选择相应的架构。 图3 架构选择 存算一体架构 GaussDB
进行通信。 云下和云上 业务应用在云下数据中心,需要与DWS进行通信 使用DWS的公网IP/公网域名进行通信。 使用云专线(DC)进行通信。 业务应用与DWS在同一个区域内同一个VPC下 为保证业务低时延,建议将业务应用和DWS都部署在同一个区域内。例如业务应用部署在ECS,建议
易使用 一站式可视化便捷管理 GaussDB(DWS)让您能够轻松完成从项目概念到生产部署的整个过程。通过使用GaussDB(DWS)管理控制台,您不需要安装数据仓库软件,也不需要部署数据仓库服务器,就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。 您只需单击几下鼠
存算一体1:4云盘规格,在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力。适用于HTAP混合负载场景,规格详情请参见表2。 存算一体(单机形态)规格,此时存算一体只支持单机部署,单机形态不提供高可用服务,因此存储成本可减半,单机模式服务可用性通过ECS自动重建实现,数据可
sDB(DWS)集群由多个在相同子网中的相同规格的节点组成,共同提供服务。 节点 每个GaussDB(DWS)集群部署节点取值范围为3~256,其中存算一体(单机部署)取值为1,每个节点都支持存储与分析数据。详情请参见GaussDB(DWS)技术指标。 规格 用户创建GaussD
与索引的数据量成正比关系,在此期间,表只支持读。 存算一体(单机部署)不支持分布式模式,因此不支持扩缩容、逻辑集群、资源管理等操作。 存算一体(单机部署)不支持快照、监控面板、MRS数据源等功能。 存算一体(单机部署)中,原有指定分布列语法将被忽略,此外不支持job定时任务、SE
0及以上集群版本支持。 离线扩容过程中不支持资源管理功能,如开启了资源管理计划,请在进行离线扩容操作之前停止。 存算一体(单机部署)不支持资源管理功能。 打开或关闭资源管理功能 资源管理配置包括资源管理开关、全局最大并发数。这里的全局最大并发数指的是单个CN上的最大并发数,如果您通过资源管理开关关
TPC-H测试结果 DWS测试了使用存算一体和存算分离两种部署架构下,TPC-H 1T规模数据集的开箱查询性能,共22个查询。存算一体查询总耗时为170.08s,存算分离查询总耗时为172.62s。 图1 TPC-H 1000X开箱性能 详细性能数据见下表。 表1 TPC-H测试结果
TPC-DS测试结果 本测试主要包括使用存算一体和存算分离两种部署架构下,TPC-DS 1T规模数据集的开箱查询性能,共99个查询。存算一体查询总耗时为622.21s,存算分离查询总耗时为645.42s。详细结果见下表。 表1 TPC-DS测试结果 TPC-DS查询 8.3.0 9
数据倾斜调优 数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。
多VW支持业务隔离和极致弹性(存算分离架构) 通过多VW实现业务的负载隔离,相比资源管理的软隔离,基于VW的虚拟机级别的硬隔离可以最大化的降低业务间的互相影响。 支持多经典VW和多弹性VW。 通过经典VW实现业务隔离: 根据业务需要,可部署多个VW,不同业务绑定不同的VW,经典VW允许建表。
数据倾斜调优 数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。
安装和启动GDS 安装和启动GDS 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,单击“连接客户端”。 在 “gsql 命令行客户端”的下拉列表中,选择对应版本的GaussDB(DWS)客户端。 请根据集群版本和安装客户端的操作系统,选择对应版本。 客户端CPU架构要
GaussDB(DWS)使用流程 数据仓库服务是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB(DWS)是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时
磁盘缓存主动预热调优 该功能仅9.1.0.200及以上版本支持。 背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,