数据仓库服务 GAUSSDB(DWS)-产品架构和优势

时间:2024-06-11 10:47:23

产品架构和优势

DWS是基于Shared-nothing架构的分布式、并行数据库集群,其产品架构请参见下图。

图1 产品架构图

该架构保证DWS具有以下关键优势:

DWS服务可以在多种云形态下使用,支持华为公有云形态、混合云本地运维H CS 形态、混合云长期连线HCSO形态,以及边缘小站IES形态,为不同类型用户对部署形态和运维模式的差异化提供选择。

DWS数据库内核统一使用华为自主研发的 GaussDB数据库 ,兼容PostgreSQL的数据库内核引擎,从单机OLTP数据库改造为企业级MPP(大规模并行处理)架构的OLAP 分布式数据库 ,其主要面向海量数据分析场景。

DWS产品提供标准数仓、IoT数仓和实时数仓三种产品形态,与传统 数据仓库 相比,主要有以下特点与显著优势,可解决多行业超大规模数据处理与通用平台管理问题:

易使用

  • 一站式可视化便捷管理

    DWS让您能够轻松完成从项目概念到生产部署的整个过程。通过使用DWS管理控制台,您不需要安装数据仓库软件,也不需要部署数据仓库服务器,就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。

    您只需点击几下鼠标,就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。

  • 提供一键式异构数据库迁移工具

    DWS提供配套的迁移工具,可支持Oracle和Teradata的SQL脚本迁移到DWS。

高性能

  • 云化分布式架构

    DWS采用全并行的MPP架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。

  • 查询高性能,万亿数据秒级响应

    DWS后台通过算子多线程并行执行、向量化计算引擎实现指令在寄存器并行执行,以及LLVM动态编译减少查询时冗余的条件逻辑判断,助力数据查询性能提升。

    DWS支持行列混合存储,可以同时为用户提供更优的数据压缩比(列存)、更好的索引性能(列存)、更好的点更新和点查询(行存)性能。

  • 数据加载快

    DWS提供了GDS极速并行大规模数据加载工具。

高扩展

  • 按需扩展:Shared-Nothing开放架构,可随时根据业务情况增加节点,扩展系统的数据存储能力和查询分析性能,最高支持2048节点规模。
  • 扩容后性能线性提升:容量和性能随集群规模线性提升,线性比0.8。
  • 扩容不中断业务:扩容过程中支持数据增、删、改、查,及DDL操作(DROP/TRUNCATE/ALTER TABLE),表级别在线扩容技术,扩容期间业务不中断、无感知。

高可靠

  • ACID

    支持分布式事务ACID(Atomicity,Consistency,Isolation,Durability),数据强一致保证。

  • 全方位HA设计

    DWS所有的软件进程均有主备保证,集群的协调节点(CN)、数据节点(DN)等逻辑组件全部有主备保证,能够保证在任意单点物理故障的情况下系统依然能够保证数据可靠、一致,同时还能对外提供服务。

  • 安全

    DWS支持数据透明加密,同时可与数据库安全服务(DBSS)对接,基于网络隔离及安全组规则,保护系统和用户隐私及数据安全。DWS还支持自动数据全量、增量备份,提升数据可靠性。

融合分析

  • 多模融合:支持流、时序、GIS、全文、AI等类型数据在库内直接计算,融合分析。
  • 多源融合:与大数据无缝融合,您可以使用标准SQL查询HDFS、OBS上的数据,数据无需搬迁。
  • 加速集群:基于OBS数据访问,共享Express加速集群,提供更高效的融合计算分析能力。

高安全

  • 透明加密:对数据库的数据文件进行加密,可以避免恶意攻击者在OS层面绕过数据库权限控制机制或窃取磁盘直接访问用户数据的情况。
  • 数据脱敏:内置数值、字符、时间类型脱敏函数,并提供可自定义的脱敏规则,实现在大数据高效互访的同时,对敏感数据进行有效保护。
support.huaweicloud.com/twp-dws/dws_11_0004.html