华为云计算 云知识 数据仓库服务架构
数据仓库服务架构

DWS基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。

图1产品架构

数据仓库服务架构

应用层

数据加载工具、ETL(Extract-Transform-Load)工具、以及商业智能BI工具、数据挖掘和分析工具,均可以通过标准接口与DWS集成。DWS兼容PostgreSQL生态,且SQL语法进行了兼容MySQL、Oracle和Teradata的处理。应用只需做少量改动即可向DWS平滑 迁移

接口

支持应用程序通过标准JDBC 4.0和ODBC 3.5连接DWS。

DWS(MPP大规模并行处理集群)

一个DWS集群由多个在相同子网中的相同规格的节点组成,共同提供服务。集群的每个DN负责存储数据,其存储介质是磁盘。协调节点(Coordinator Node)负责接收来自应用的访问请求,并向客户端返回执行结果,此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。

自动 数据备份

支持将集群快照自动备份到EB级 对象存储服务 OBS( Object Storage Service )中,方便利用业务空闲期对集群做周期备份以保证集群异常后的 数据恢复

快照是DWS集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据。

工具链

提供了数据并行加载工具GDS(General Data Service)、SQL语法迁移工具 DSC 、SQL开发工具Data Studio,并支持通过控制台对集群进行运维监控。


上一篇:青海域名个人备案管局政策 下一篇:华为云数据迁移服务使用教程

数据仓库服务 GaussDB(DWS)

GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,支持x86和Kunpeng硬件架构,支持行存储与列存储,提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、物流、互联网、金融、政府、电信等行业分析决策系统

费用低至每节点¥2.49/小时 起