数据仓库服务 GAUSSDB(DWS)-什么是数据仓库服务:集群逻辑架构
下载数据仓库服务 GAUSSDB(DWS)用户手册完整版
集群逻辑架构
GaussDB (DWS)集群逻辑架构如图1所示。实例的详细介绍请参见表1。
|
名称 |
描述 |
说明 |
|---|---|---|
|
CM |
集群管理模块（Cluster Manager）。管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。 |
CM由CM Agent、OM Monitor和CM Server组成。
GaussDB(DWS)提供了CM Server的主备实例方案，以保证集群管理系统本身的高可用性。正常情况下，CM Agent连接主CM Server，在主CM Server发生故障的情况下，备CM Server会主动升为主CM Server，避免出现CM Server单点故障。 |
|
GTM |
全局事务管理器（Global Transaction Manager），负责生成和维护全局事务ID、事务快照、时间戳等全局唯一的信息。 |
整个集群只有一组GTM：主、备GTM各一个。 |
|
WLM |
工作负载管理器（Workload Manager）。控制系统资源的分配，防止过量业务负载对系统的冲击而导致业务拥塞和系统崩溃。 |
不同于集群中的实例（GTM、CM、CN、DN）模块，不需要在安装过程中指定主机名称。安装程序会自动在各主机上安装此模块。 |
|
CN |
协调节点（Coordinator）。负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。 |
集群中，CN有多个并且CN的角色是对等的（执行DML语句时连接到任何一个CN都可以得到一致的结果）。只需要在CN和应用程序之间增加一个负载均衡器，使得CN对应用是透明的。CN故障时，由负载均衡自动路由连接到另外一个CN，请参见集群绑定和解绑ELB。 当前分布式事务框架下无法避免CN之间的互连，为了减少GTM上线程过多导致负载过大，建议CN配置数目≤10个。 GaussDB(DWS)通过CCN（Central Coordinator ）负责集群内的资源全局负载控制，以实现自适应的动态负载管理。CM在第一次集群启动时，通过集群部署形式，选择编号最小的CN作为CCN。若CCN故障之后，由CM选择新的CCN进行替换。 |
|
DN |
数据节点（Datanode）。负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及向CN返回执行结果。 |
在集群中，DN有多个。每个DN存储了一部分数据。GaussDB(DWS)对DN提供了高可用方案：主DN、备DN、从备DN。三者的工作原理如下：
也就是说从备DN永远只作为从备使用，不会因为主DN或备DN故障而升级为主DN或备DN，从备DN只存放原主DN故障时，新升为主的DN同步到从备DN的Xlog数据和数据通道复制产生的数据。因此从备DN不额外占用存储资源，相比传统三副本节约了三分之一的存储空间。 |
|
Storage |
服务器的本地存储资源，持久化存储数据。 |
- |
集群的每个DN上负责存储数据，其存储介质也是磁盘。图2从逻辑上介绍了每个DN上都有哪些对象，以及这些对象之间的关系，其中：
- Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。
- Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。
- Table，即表，每张表只能属于一个数据库。
- Block，即数据块，是数据库管理的基本单位，默认大小为8KB。
数据有三种分布方式，可以在建表的时候指定：REPLICATION、ROUNDROBIN 、HASH。
- 数据仓库服务GaussDB(DWS)_SQL on Anywhere
- DWS产品介绍_DWS产品优势_DWS功能_DWS使用场景_DWS是什么
- GAUSS(DWS)工具_gsql工具_DataStudio工具_DSC工具
- DWS安全_数据仓库服务安全_DWS数据安全管理_DWS安全保障_DWS安全策略
- 调用GaussDB(DWS) API接口_数据仓库服务调用API_如何调用API_在DWS中调用API
- 数据库监控DMS_数据库智能运维_了解Auto Pilot_DMS_DWS节点监控
- GaussDB(DWS)常用SQL_常用SQL命令_SQL语法
- 大数据应用范围有哪些_大数据技术与应用要学习什么课程
- GaussDB(DWS)服务_什么是IoT数仓_如何使用IoT数仓
- 华为云资料 2021年 7月刊
