数据仓库服务 GAUSSDB(DWS)-逻辑集群概述:应用场景

时间:2024-12-11 17:25:58

应用场景

场景一:将不同资源要求的数据隔离
图3 基于不同资源要求划分逻辑集群

如上图所示,不同资源要求的数据就分开存放到不同逻辑集群中,同时不同逻辑集群之间也支持互访,在保证资源隔离的基础上也可以保证功能不受影响。

  • T1和T2表主要用于大批量数据计算,并生成报表数据(比如银行跑批)。这个过程由于需要大批量导入和大数据查询,所以对节点的内存和IO资源消耗比较高,且耗时比较长,但这类查询对实时性要求不高,因此可以将这些数据划分到一个独立的逻辑集群中。
  • T3和T4表包含了一些计算数据和实时数据,主要用于业务点查和实时查询,这类查询要求实时性高,为避免其他高负载操作影响,可以将这些数据划分到独立的逻辑集群中。
  • T5和T6表主要用于大并发OLTP类操作,数据更新非常频繁,对IO非常敏感,为了避免大数据查询对其影响,可以将这类表划分到独立的逻辑集群中。
场景二:不同业务要求的数据隔离,扩展数据集群多租户的能力
图4 逻辑集群多业务数据和多租户管理

大规模数据库集群往往同时包含很多业务的数据,不同业务有不同的数据表,为了对不同业务进行资源隔离,可以通过创建多租户来实现。将不同业务用户分配给不同租户,以便减少业务之间资源竞争。但随着业务规模不断扩大,集群系统中的业务数目越来越多,通过划分多租户来管理越来越难以控制资源竞争。由于每个表都会分布在数据库集群的所有DN节点上,因此每次数据表操作都可能会涉及所有DN节点,这会导致网络压力增大和系统资源消耗,单纯通过扩大集群规模也很难解决。所以可通过划分多个逻辑集群解决业务数量扩大问题,如上图所示。

通过划分独立的逻辑集群,将新增的业务分配到独立的逻辑集群上,这样新增业务对原有业务的影响会很小。而原有逻辑集群中的业务规模如果扩大,也可以通过对原有逻辑集群扩容来解决。

逻辑集群不适合将多个独立的数据库系统合并在一起管理,独立的数据库系统往往对独立运维要求很高,需要能够单独管理、监控、备份和升级,同时集群之间要求故障隔离,逻辑集群无法做到独立运维和完全的故障隔离。

support.huaweicloud.com/mgtg-dws/dws_01_7241.html