DWS基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。
图1产品架构
应用层
数据加载工具、ETL(Extract-Transform-Load)工具、以及商业智能BI工具、数据挖掘和分析工具,均可以通过标准接口与DWS集成。DWS兼容PostgreSQL生态,且SQL语法进行了兼容MySQL、Oracle和Teradata的处理。应用只需做少量改动即可向DWS平滑 迁移 。
接口
支持应用程序通过标准JDBC 4.0和ODBC 3.5连接DWS。
DWS(MPP大规模并行处理集群)
一个DWS集群由多个在相同子网中的相同规格的节点组成,共同提供服务。集群的每个DN负责存储数据,其存储介质是磁盘。协调节点(Coordinator Node)负责接收来自应用的访问请求,并向客户端返回执行结果,此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。
自动 数据备份
支持将集群快照自动备份到EB级 对象存储服务 OBS( Object Storage Service )中,方便利用业务空闲期对集群做周期备份以保证集群异常后的 数据恢复 。
快照是DWS集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据。
工具链
提供了数据并行加载工具GDS(General Data Service)、SQL语法迁移工具 DSC 、SQL开发工具Data Studio,并支持通过控制台对集群进行运维监控。