华为云用户手册

  • 适用场景 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。 在这种情况下,通过 CDM 进行数据集成时,需要针对每张表创建一个数据迁移作业。您可以参考本教程,通过数据开发模块的For Each节点和CDM节点,配合作业参数,实现批量创建分表迁移作业。 本教程中,源端MySQL数据库中存在三张分表,分别是mail01、mail02和mail03,且表结构一致,数据内容不同。目的端为 MRS Hive服务。
  • 最低配置要求 对Android的系统要求 对操作系统的要求: 最低配置:Android5.0,运行 RAM 4G,CPU Arm v7 A9架构双核1.4G,支持NEON加速技术,内部存储空间ROM 4G。 推荐配置:Android5.0~Android10.0,运行RAM 6G及以上,CPU Arm v7 A9架构八核1.6G及以上,支持NEON加速技术, 内部存储空间ROM 16G及以上。 对机型的要求: 支持机型:荣耀7i,荣耀10,荣耀 magic,华为Mate8,华为Mate9/Pro,华为Mate10/Pro,华为Mate20/Pro,华为P20/Pro,三星 Galaxy Note5,三星Galaxy Note 8,三星 Galaxy Note9,小米Mix3,小米max,小米5,vivo x20,vivo x21,OPPO R11s,OPPO R17、华为Mate30/Pro 华为P30/Pro 荣耀V30及以上机型。 推荐机型:华为Mate10/Pro,华为Mate20/Pro,华为P20/Pro,三星 Galaxy Note9,小米Mix3,vivo x20,vivo x21,OPPO R17、华为Mate30/Pro 华为P30/Pro 荣耀V30及以上机型。 对iOS的系统要求 对操作系统的要求: 最低配置:iOS10.0。 推荐配置:iOS10.0-iOS13.3及以上配置。 对机型的要求: 支持机型:、iPhone 5S、iPhoneSE、iPhone 6、iPhone 6S、iPhone 6S Plus、iPhone 7、iPhone 7 Plus、iphone 8、iphone 8 plus、iphone X、iphone XS、iphone XSmax、iphoneXR、iPhone11、 iPhone11 Pro、iPhone 11 Pro Max及以上机型。 推荐机型:iPhone 6S、iPhone 6S Plus、iPhone 7、iPhone 7 Plus、iphone 8、iphone 8 plus、iphone X、iphone XS、iphone XSmax、iphoneXR、iPhone11、 iPhone11 Pro、iPhone 11 Pro Max及以上机型。
  • 登录与注册 未注册用户 如果您使用未注册过 WeLink 的手机号码登录移动端,则根据系统提示,点击“创建企业”,以管理员身份注册企业,便可快速注册企业账号。 已注册未开户用户 如果您的企业已经开通WeLink账号,但未给您开通账号,您首次登录WeLink,进入欢迎界面后,单击“加入企业”,可快速加入您的企业。 您可通过输入企业码或者企业二维码进入企业,请向您的企业管理员获取企业码或二维码。 已开户用户 企业管理员为您开通账号后,您会收到短信和邮件通知。首次登录WeLink,输入您的手机号,点击获取短信验证码并输入。选择您的企业后,设置您的登录密码,即可登录WeLink。 如果企业管理员设置了移动端免密登录,则无需设置登录密码,选择您的企业后即可登录WeLink。 如果您的企业已启用企业 统一身份认证 ,请从企业内部系统获取个人企业协同账号及密码进行登录。
  • 实时数据分析 移动互联网场景下会产生大量实时数据,为了快速获取数据价值,需要对数据进行实时分析, GaussDB (DWS)的快速入库和查询能力可支持实时数据分析。 图4 实时数据分析 优势 流式数据实时入库 互联网等数据经过流计算及AI服务处理后,可实时写入GaussDB(DWS)。 实时监控与预测 围绕数据进行分析和预测,对设备进行监控,对行为进行预测,实现控制和优化。 AI融合分析 AI服务对图像、文本等数据的分析结果可在GaussDB(DWS)中与其他业务数据进行关联分析,实现融合数据分析。
  • 数据仓库 迁移 数据仓库是企业的重要数据分析系统,随着业务量的增长,自建数仓性能逐渐不能满足实际要求,同时扩展性差、成本高,也使扩容极为困难。GaussDB(DWS)作为云上企业级数据仓库,具备高性能、低成本、易扩展等特性,满足大数据时代企业数据仓库业务诉求。 图1 数据仓库迁移 优势 平滑迁移 GaussDB(DWS)提供配套的迁移工具,可支持TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala等常用数据分析系统的平滑迁移。 兼容传统数据仓库 GaussDB(DWS)支持SQL 2003标准,兼容Oracle的部分语法和数据结构,支持存储过程,可与常用BI(business intelligence)工具无缝对接,业务迁移修改量极小。 安全可靠 GaussDB(DWS)支持 数据加密 ,同时可与数据库安全服务对接,保证云上数据安全。同时GaussDB(DWS)支持数据自动全量、增量备份,提升数据可靠性。
  • 大数据融合分析 随着信息技术的发展和进步,数据资源已经成为企业的核心资源。整合数据资源,构建大数据平台,发现数据价值,成为企业经营的新趋势和迫切诉求。而如何从海量数据中快速挖掘“价值”,成为助力用户实现预测性分析的关键要素。 图2 大数据融合分析 优势 统一分析入口 以GaussDB(DWS)的SQL作为上层应用的统一入口,应用开发人员使用熟悉的SQL语言即可访问所有数据。 实时交互分析 针对即时的分析需求,分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点,即可扩展系统的数据存储能力和查询分析的性能,可支持PB级数据的存储和计算。
  • 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的角色,更是海量数据收集、存储、分析的核心。为金融、教育、移动互联网、O2O(Online to Offline)等行业提供强大的商业决策分析支持。 优势 数据迁移 多数据源,高效批量、实时数据导入。 高性能 PB级数据低成本的存储与万亿级数据关联分析秒级响应。 实时 业务数据流实时整合,及时对经营决策进行优化与调整。 图3 增强型ETL+实时BI分析
  • 多VW支持业务隔离和极致弹性(存算分离架构) 通过多VW实现业务的负载隔离,相比资源管理的软隔离,基于VW的虚拟机级别的硬隔离可以最大化的降低业务间的互相影响。 支持多经典VW和多弹性VW。 通过经典VW实现业务隔离: 根据业务需要,可部署多个VW,不同业务绑定不同的VW,经典VW允许建表。 VW之间资源隔离,实现业务之间互不影响。 VW之间数据实时共享。 固定VW的大小在MPP架构下决定了单SQL性能上限。 固定VW适合承载实时接入、实时加工等稳定负载/低时延作业,根据业务变化提前规划大小。 通过弹性VW实现并发扩展: VW在高并发场景下业务出现排队时,动态弹出弹性VW,弹性VW支持读写,不支持建表。 排队查询自动路由到弹性VW。 通过弹性VW,减少查询排队,提升业务整体并发度。 业务并发下降后,自动回收弹性VW。 弹性VW实现计算资源按需供给,用户设定弹性上限。 弹性VW规格与固定VW相同,在弹性VW上运行的SQL,性能与固定VW基本相同。 弹性VW按资源使用时长计费。 弹性VW适合承载突增、周期性的查询、加工负载。 比如:客户有多个业务部门,那么可以为每个业务部门绑定一个经典VW,实现不同业务之间的资源隔离,如果业务1使用一个3节点VW,业务2使用一个4节点VW。如果业务1,在每天的10:00-12:00有业务高峰,那么可以为业务1配置弹性VW,在高峰期弹出弹性VW,在高峰期过后销毁。
  • 产品类型概述 标准数仓(DWS 2.0):面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。 标准数仓(DWS 3.0):采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。 实时数仓:在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力。适用于HTAP混合负载场景,“一库两用,生产即分析”,支持单机部署和集群部署两种部署方式。 GaussDB(DWS)数仓之间暂不支持互相访问,用户可通过创建的OBS外表,将两个数据库关联在同一个数据目录下进行数据查询。
  • 功能特性对比 表1 功能特性对比 功能模块 功能模块 标准数仓(DWS 2.0) 标准数仓(DWS 3.0) 实时数仓(集群部署) 实时数仓(单机部署) 总览 资源 支持 支持 支持 支持 告警 支持 支持 支持 支持 近期事件 支持 支持 支持 支持 集群监控指标(DMS) 支持 支持 支持 不支持 数据 - 支持 支持 支持 支持 集群管理 SQL编辑器 支持 支持 支持 支持 监控面板(DMS) 支持 支持 支持 不支持 查看监控指标(Cloud Eye) 支持 支持 支持 不支持 重启 支持 支持 支持 支持 启动 不支持 不支持 不支持 不支持 停止 不支持 不支持 不支持 不支持 扩容 支持 支持 支持 不支持 缩容 支持 支持 支持 不支持 重分布 支持 支持,备注1 支持 不支持 查看重分布详情 支持 支持 支持 不支持 弹性变更规格 支持 支持 支持 支持 经典变更规格 支持 不支持 支持 不支持 重置密码 支持 支持 支持 支持 创建快照 支持 支持 支持 不支持 解除只读 支持 支持 支持 支持 删除 支持 支持 支持 支持 管理CN节点 支持 支持 支持 不支持 磁盘扩容 支持 支持 支持 支持 集群详情 基本信息 支持 支持 支持 支持 ELB负载均衡 支持 支持 支持 不支持 资源管理 支持 支持 支持 不支持 智能运维 支持 支持 支持 不支持 逻辑集群 支持 支持 支持 不支持 快照 支持 支持 支持 不支持 参数修改 支持 支持 支持 支持 安全设置 支持 支持 支持 支持 MRS数据源 支持 支持 支持 不支持 标签 支持 支持 支持 支持 节点管理 支持 支持 支持 不支持 升级管理 支持 支持 支持 不支持 日志服务 支持 支持 支持 不支持 用户管理 支持 支持 支持 不支持 集成 数据迁移 支持 支持 支持 不支持 容灾管理 容灾管理 支持 不支持 支持 不支持 快照管理 恢复 支持 支持 支持 不支持 删除 支持 支持 支持 不支持 复制 支持 支持 支持 不支持 事件管理 事件管理(通用) 支持 支持 支持 支持 告警管理 告警管理 支持 支持 支持 支持 连接客户端 连接客户端 支持 支持 支持 支持 其他模块 巡检 支持 支持 支持 不支持 智能运维 支持 支持 支持 不支持 节点修复 支持 支持 支持 不支持 租户侧温备 支持 支持 支持 不支持 备注1:存算分离表数据存储在OBS上,无需重分布,但是元数据和索引存储在本地,仍然需要进行重分布。存算分离表在重分布时,表只支持读,元数据的重分布时间一般比较短,但是,如果表上创建了索引,索引会影响重分布的性能,重分布完成时间与索引的数据量成正比关系,在此期间,表只支持读。 实时数仓(单机部署)不支持分布式模式,因此不支持扩缩容、逻辑集群、资源管理等操作。 实时数仓(单机部署)不支持快照、监控面板、MRS数据源等功能。 实时数仓(单机部署)中,原有指定分布列语法将被忽略,此外不支持job定时任务、SEQUENCE类型、HDFS/OBS外表导入导出(其中OBS外表导入导出8.2.0及以上版本支持)、多温存储、自增分区表等功能。 DWS 3.0集群仅9.0.2及以上集群版本支持快照功能。
  • 存算一体与存算分离产品形态对比 表2 DWS 3.0与DWS 2.0差异 数仓类型 DWS 2.0 DWS 3.0 存储介质 数据存储在计算节点的本地磁盘。 列存数据存储在华为云对象存储,本地磁盘主要作为OBS数据的查询缓存,行存仍然存储在计算节点本地磁盘。 产品优势 数据存储在计算节点本地,性能高。 存算分离,计算、存储分层弹性,存储按需使用,计算快速伸缩,无限算力、无限容量。 数据存储在对象存储上,存储成本更低,多VW支持的并发更高。 支持数据共享,支持湖仓一体。
  • 存算分离(3.0)架构 GaussDB(DWS)全新推出云原生数仓DWS 3.0版本,利用云基础设施提供的资源池化和海量存储能力,结合MPP数据库技术,采用计算存储分离架构,实现了极致弹性、实时入库、数据实时共享和湖仓一体等特性。 云原生数仓DWS 3.0采用计算存储分离架构,解决了计算存储必须等比例缩放的问题。赋能用户面向业务峰谷时,对计算能力进行快速且独立的扩缩要求,同时保证存储无限扩展、按需付费,快速、敏捷的响应业务变化,同时具有更高的性价比,进一步助力企业降本增效。 DWS 3.0具有以下优势: 湖仓一体:提供简单、易维护的湖仓一体体验,无缝对接 DLI ,支持元数据自动导入、外部表查询加速、内外表关联查询,支持 数据湖 格式读写,简化数据入湖入仓。 实时写入:提供H-Store存储引擎,对实时写入场景进行了设计优化,支持高吞吐实时写入与更新,同时支持大批量写入场景。 极致弹性:计算资源快速伸缩,存储空间按需使用,同时大幅度降低存储成本。历史数据无需再迁移到其他存储介质上,让数据分析更简单,一站式解决金融、互联网等行业快速增长的数据分析需求。 数据共享:一份数据承载多样负载,数据实时共享,多写多读的使用模式,在支持不同业务数据快速共享的同时,具备良好的计算资源隔离能力。 图5 存算分离3.0架构 极致弹性 逻辑集群(Virtual Warehouse) 随业务需求并发扩展。 多VW间数据实时共享,一份数据承载多样负载,无需拷贝。 通过多VW实现吞吐/并发的线性提升,同时具备良好的读写分离、负载隔离能力。 湖仓一体 数据湖与数据仓库数据无缝混合查询。 数据湖分析体验数仓的极致性能和精准管控度。
  • 存算一体(2.0)架构 GaussDB(DWS)基于Shared-nothing分布式架构,具备MPP(Massively Parallel Processing)大规模并行处理引擎,由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。 图4 产品架构 应用层 数据加载工具、ETL(Extract-Transform-Load)工具、以及商业智能BI工具、数据挖掘和分析工具,均可以通过标准接口与GaussDB(DWS)集成。GaussDB(DWS)兼容PostgreSQL生态,且SQL语法进行了兼容MySQL、Oracle和Teradata的处理。应用只需做少量改动即可向GaussDB(DWS)平滑迁移。 接口 支持应用程序通过标准JDBC和ODBC连接GaussDB(DWS)。 GaussDB(DWS) 一个GaussDB(DWS)集群由多个在相同子网中的相同规格的节点组成,共同提供服务。集群的每个DN负责存储数据,其存储介质是磁盘。协调节点(Coordinator)负责接收来自应用的访问请求,并向客户端返回执行结果。此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。 自动数据备份 支持将集群快照自动备份到EB级 对象存储服务 OBS(Object Storage Service)中,方便利用业务空闲期对集群做周期备份以保证集群异常后的数据恢复。 快照是GaussDB(DWS)集群在某一时间点的完整备份,记录了该时刻指定集群的所有配置数据和业务数据。 工具链 提供了数据并行加载工具GDS(General Data Service)、SQL语法迁移工具DSC(Database Schema Convertor)、SQL开发工具Data Studio、迁移工具GDS-Kafka,并支持通过控制台对集群进行运维监控。
  • 集群逻辑架构 GaussDB(DWS)集群逻辑架构如图1所示。实例的详细介绍请参见表1。 图1 集群逻辑架构图 表1 集群架构说明 名称 描述 说明 CM 集群管理模块(Cluster Manager)。管理和监控分布式系统中各个功能单元和物理资源的运行情况,确保整个系统的稳定运行。 CM由CM Agent、OM Monitor和CM Server组成。 CM Agent:负责监控所在主机上主备GTM、CN、主备DN的运行状态并将状态上报给CM Server。同时负责执行CM Server下发的仲裁指令。集群的每台主机上均有CM Agent进程。 OM Monitor:看护CM Agent的定时任务,其唯一的任务是在CM Agent停止的情况下将CM Agent重启。如果CM Agent重启不了,则整个主机不可用,需要人工干预。 说明: CM Agent重启的情况很少发生,如果出现可能是因为系统资源不够用导致无法启动新进程。 CM Server:根据CM Agent上报的实例状态判定当前状态是否正常,是否需要修复,并下发指令给CM Agent执行。 GaussDB(DWS)提供了CM Server的主备实例方案,以保证集群管理系统本身的高可用性。正常情况下,CM Agent连接主CM Server,在主CM Server发生故障的情况下,备CM Server会主动升为主CM Server,避免出现CM Server单点故障。 GTM 全局事务管理器(Global Transaction Manager),负责生成和维护全局事务ID、事务快照、时间戳等全局唯一的信息。 整个集群只有一组GTM:主、备GTM各一个。 WLM 工作负载管理器(Workload Manager)。控制系统资源的分配,防止过量业务负载对系统的冲击而导致业务拥塞和系统崩溃。 不同于集群中的实例(GTM、CM、CN、DN)模块,不需要在安装过程中指定主机名称。安装程序会自动在各主机上安装此模块。 CN 协调节点(Coordinator)。负责接收来自应用的访问请求,并向客户端返回执行结果;负责分解任务,并调度任务分片在各DN上并行执行。 集群中,CN有多个并且CN的角色是对等的(执行DML语句时连接到任何一个CN都可以得到一致的结果)。只需要在CN和应用程序之间增加一个负载均衡器,使得CN对应用是透明的。CN故障时,由负载均衡自动路由连接到另外一个CN,请参见集群绑定和解绑ELB。 当前分布式事务框架下无法避免CN之间的互连,为了减少GTM上线程过多导致负载过大,建议CN配置数目≤10个。 GaussDB(DWS)通过CCN(Central Coordinator )负责集群内的资源全局负载控制,以实现自适应的动态负载管理。CM在第一次集群启动时,通过集群部署形式,选择编号最小的CN作为CCN。若CCN故障之后,由CM选择新的CCN进行替换。 DN 数据节点(Datanode)。负责存储业务数据(支持行存、列存、混合存储)、执行数据查询任务以及向CN返回执行结果。 在集群中,DN有多个。每个DN存储了一部分数据。GaussDB(DWS)对DN提供了高可用方案:主DN、备DN、从备DN。三者的工作原理如下: 主、备DN同步数据期间,如果主DN突然故障不可用,备DN会升为主DN。 在原主DN恢复前,新升为主的DN会将数据日志同步到从备DN。 原主DN恢复后将成为备DN,并且会使用“从备DN”上的数据日志恢复异常期间的数据。 也就是说从备DN永远只作为从备使用,不会因为主DN或备DN故障而升级为主DN或备DN,从备DN只存放原主DN故障时,新升为主的DN同步到从备DN的Xlog数据和数据通道复制产生的数据。因此从备DN不额外占用存储资源,相比传统三副本节约了三分之一的存储空间。 Storage 服务器的本地存储资源,持久化存储数据。 - 集群的每个DN上负责存储数据,其存储介质也是磁盘。图2从逻辑上介绍了每个DN上都有哪些对象,以及这些对象之间的关系,其中: Database,即数据库,用于管理各类数据对象,各数据库间相互隔离。 Datafile Segment,即数据文件,通常每张表只对应一个数据文件。如果某张表的数据大于1GB,则会分为多个数据文件存储。 Table,即表,每张表只能属于一个数据库。 Block,即数据块,是数据库管理的基本单位,默认大小为8KB。 数据有三种分布方式,可以在建表的时候指定:REPLICATION、ROUNDROBIN 、HASH。 图2 数据库逻辑结构图
  • GaussDB(DWS)的数据库概念 数据库 一个GaussDB(DWS)集群实际上是一个支持联机分析处理方式的数据库平台,属于分析性的关系型数据库。 联机分析处理 联机分析处理(Online Analytical Processing,简称OLAP),是GaussDB(DWS)集群的主要工作方式,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。 大规模并行处理 大规模并行处理(Massive Parallel Processing,简称MPP,也可称为无共享架构),是指在GaussDB(DWS)集群的每个节点中,都有独立的内存计算和磁盘存储系统,GaussDB(DWS)根据数据库模型和应用特点,将业务数据划分到不同节点上,通过节点间的网络彼此连接协同计算,使集群作为整体提供数据库服务以满足业务需要。 无共享架构 无共享架构(Shared Nothing Architecture)是一种分布式计算架构。这种架构中的每一个节点都是独立、自给的,使整个系统中不出现单点竞争的情况,以提高工作效率。 数据库版本 每个GaussDB(DWS)集群对应一个数据库版本,用户在创建GaussDB(DWS)集群时确认此集群的版本。 数据库连接 用户通过客户端连接GaussDB(DWS)集群的方式,实现数据库的连接。支持在华为云平台以及互联网环境上使用客户端进行连接。 数据库用户 GaussDB(DWS)集群支持不同人员连接并使用数据库,为了方便管理,数据库中支持添加新用户,并通过为用户分配不同权限达到权限控制的目的。默认的数据库用户为数据库管理员,在创建GaussDB(DWS)集群时生成。
  • GaussDB(DWS)的管理概念 集群 表示由多个节点组成的服务器群组。GaussDB(DWS)以集群为单位进行组织,一个GaussDB(DWS)集群由多个在相同子网中的相同规格的节点组成,共同提供服务。 节点 每个GaussDB(DWS)集群部署节点取值范围为3~256,其中实时数仓(单机模式)取值为1,每个节点都支持存储与分析数据。详情请参见技术指标。 规格 用户创建GaussDB(DWS)集群时需要指定集群节点的规格,不同规格节点使用的CPU、内存和存储资源不同。 快照 快照是用户根据需要创建的GaussDB(DWS)集群备份,用于还原创建快照时的集群数据。快照会一直保存,直到用户使用管理控制台将此快照删除(自动快照不支持手动删除)。快照会占用用户购买使用的OBS配额。 Project Project用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。Project可以是一个部门或者一个项目组。一个账户中可以创建多个Project。
  • 使用限制 本文介绍使用GaussDB(DWS)产品重点功能限制以及注意事项。 创建GaussDB(DWS)集群后,您不需要做数据库的基础运维(例如高可用、打安全补丁等),但需要重点关注如下事项: 表1 GaussDB(DWS)约束限制 事项 说明 创建集群 设置的节点数量不能大于用户可使用的节点配额或256个。如果可使用的节点配额不足,用户可以单击“申请扩大配额”以提工单的形式申请更多节点配额。 集群创建成功后,“产品类型”不能再进行更改,请参考数据仓库类型了解不同产品类型功能上的具体差异。 推荐使用包年/包月方式购买集群,包月时长到期之后,集群会自动释放。 连接集群 用户需要在与集群相同的虚拟私有云子网中使用客户端连接GaussDB(DWS)集群。 数据仓库服务只支持用户管理集群,不支持直接访问集群节点。用户或应用程序使用数据库对应的集群访问IP地址和端口,访问数据仓库。 SQL语法 实时数仓(单机部署)暂不支持全文检索、OBS和HDFS外表导入导出、自动创建分区、SEQUENCE及相关函数。 实时数仓(单机部署)由于只有单DN,因此分布规则会被忽略,也不支持针对分布规则的修改。 从文档直接复制命令到执行环境中粘贴时可能自动换行,导致运行出错,请注意删除换行。 在实际业务中,根据需要创建新的Database,不建议直接使用集群默认的gaussdb数据库。 规格变更 弹性变更规格仅8.1.1.300及以上集群版本支持。 弹性变更规格当前仅支持离线变更规格,变更时间大约需要10分钟左右。 若创建本地盘或者存算一体形态的集群,则创建好以后不支持修改规格,如果需要使用更高规格的节点,请重新创建一个新的集群。弹性变更规格目前仅支持SSD云盘形态的标准数仓或实时数仓集群。 包年/包月计费模式集群进行弹性变更规格操作时,默认按照包年包月计费。 如果当前集群是包年/包月计费模式,将不支持经典变更规格功能。 在经典变更规格期间新集群是不计费的,当变更成功后开始计费。变更完成后老集群处于保留期,不再计费。 经典变更规格功能目前仅支持标准数仓和实时数仓(单机部署不支持)。逻辑集群不支持经典变更规格。 经典变更规格最大支持调整到240节点,且原节点数量加调整后节点数量不大于480节点。 磁盘扩容功能仅8.1.1.203及以上版本支持,并且创建集群规格需要为标准数仓SSD云盘和实时数仓类型。 集群状态为“可用”、“待重启”、“只读”、“非均衡”、“节点故障”或者 “不可用”的情况下才能下发磁盘扩容。 节点扩容 如果当前集群是包年/包月计费模式,那么新增节点也是按照包年包月模式进行计费。 标准数仓集群扩容时使用与当前集群相同的存储规格。 实时数仓(单机部署)不支持扩容集群。 重分布功能8.1.1.200及以上集群版本支持。 只有在扩容之后,集群任务信息为“待重分布”状态时才能手动使用“重分布”功能,其他时段该功能不可使用。 缩容集群仅8.1.1.300及以上版本支持,包周期计费模式的集群仅8.2.1及以上版本支持。 缩容的节点默认是按节点数计费。 标准数仓集群缩容时只支持缩容与当前集群相同的存储规格。 实时数仓(集群部署)不支持缩容至单机部署集群。 备份集群 GaussDB(DWS)根据快照创建的新集群与生成快照的原始集群具有相同的配置,即节点的数量和规格、内存、磁盘与原集群要一致。 根据快照创建新集群时,如果没有指定其他值,则参数默认与生成快照时的备份信息保持一致。 实时数仓(单机部署)暂不支持快照功能。 快照生成期间,请避免进行Vacuum Full操作,否则可能会导致集群只读。 创建快照时因备份数据会降低磁盘I/O性能,建议您在业务相对空闲的时期进行快照操作。 快照期间会保留一些中间文件,需额外占用磁盘空间,因此请避开业务高峰期并保证磁盘容量在70%以下。 支持恢复快照到当前集群,但不支持恢复逻辑集群与资源池到当前集群。 版本升级 8.1.1及以上集群版本支持用户自助通过控制台下发集群升级操作。 如果节点故障/系统升级导致集群长时间中断,请联系技术支持人员进行处理。 数据迁移 OBS导入导出数据时,不支持中文路径。 OBS导入导出数据时,暂不支持跨Region进行OBS数据导入导出,必须确保OBS和DWS集群在同一个Region中。 故障切换 容灾创建后,生产集群快照功能正常使用,但是灾备集群禁用快照功能,同时生产、灾备集群均禁用恢复功能。 容灾不支持同步配置的外部数据源数据。 容灾管理为同一租户下的双集群容灾。 创建容灾需要生产集群与灾备集群类型、版本号一致且逻辑同构。 Region内容灾生产集群和灾备集群需要在同一个VPC内。 Region内容灾在生产集群与容灾集群切换后绑定的弹性负载均衡(ELB)会自动切换到新的生产集群,过程中会有短暂的连接中断,请注意在变更时间窗内尽量避免业务语句写入。 Region内容灾在生产集群与容灾集群,原生产集群所在的EIP和内网 域名 ,连接IP地址不会自动切换,业务系统中如果有使用EIP,域名或者IP方式连接,需要切换到新集群。 冷热数据管理 实时数仓(单机部署)暂不支持冷热分区切换功能。 冷热表只支持列存2.0版本的分区表,外表不支持冷热分区。 仅支持从热数据切换为冷数据,不支持从冷数据切换为热数据。 对于同一分区在同一DN只会存在冷或热的一种情况,对于同一分区在不同DN可能存在部分DN为热数据,部分DN为冷数据。 只支持修改冷热表的冷热切换策略,不支持修改冷热表的冷数据的表空间。
  • 技术指标 GaussDB(DWS)不同版本的技术指标如下所示。 表1 GaussDB(DWS)技术指标8.1.3-9.1.0版本 技术指标 8.1.3最大值 8.2.0最大值 8.2.1最大值 8.3.0最大值 9.1.0最大值 集群节点数 2048 2048 2048 2048 存算一体:2048 存算分离:采用多VW技术,最大支持256个VW,每个VW 1024个DN,建议VW不超过32个,每个VW不超过128个DN。 并发连接数 分钟级复杂查询并发数:80 秒级短查询并发数:500 毫秒级短事务并发数:5000 分钟级复杂查询并发数:80 秒级短查询并发数:500 毫秒级短事务并发数:5000 分钟级复杂查询并发数:80 秒级短查询并发数:500 毫秒级短事务并发数:5000 分钟级复杂查询并发数:80 秒级短查询并发数:500 毫秒级短事务并发数:5000 存算一体: 分钟级复杂查询并发数:80 秒级短查询并发数:500 毫秒级短事务并发数:5000 存算分离: 多VW技术,可以实现并发数目的叠加,随着VW个数增加,支撑的并发数也可以相应的扩展,集群总的并发数目受GTM/CCN排队影响,建议不超过8192。 集群数据容量 20PB 20PB 20PB 20PB 存算一体: 20PB 存算分离: 数据存储在OBS上,理论上容量可以无限扩展。 单表大小 1PB 1PB 1PB 1PB 1PB 单行数据大小 1GB 1GB 1GB 1GB 1GB 单表列数(除Hudi表外) 1600 1600 1600 1600 行存:1600 列存:1600 HStore:5000 Hudi表列数 - - 5000 5000 5000 分区表的分区个数 32768 32768 32768 32768 最大32768,建议不超过1000 集群内单点故障RTO 60s 60s 60s 60s 60s 集群内单点故障RPO 0 0 0 0 0 集群故障容灾切换RTO 60min 60min 60min 60min 60min 集群故障容灾切换RPO 60min 60min 60min 60min 60min VW(Virtual Warehouse):也称逻辑集群,DWS存算分离支持把一个物理集群拆分成多个VW,不同业务可以绑定不同VW,实现业务负载隔离和并发数目扩展。 表2 GaussDB(DWS)技术指标8.0.x-8.1.1版本 技术指标 8.0.x最大值 8.1.0最大值 8.1.1最大值 数据容量 10PB 10PB 20PB 集群节点数 256 256 2048 单表大小 1PB 1PB 1PB 单行数据大小 1GB 1GB 1GB 每条记录单个字段的大小 1GB 1GB 1GB 单表记录数 255 255 255 单表列数 1600 1600 1600 单表中的索引个数 无限制 无限制 无限制 单表索引包含列数 32 32 32 单表约束个数 无限制 无限制 无限制 并发连接数 分钟级复杂查询并发数:60 毫秒级短事务并发数:5000 分钟级复杂查询并发数:60 毫秒级短事务并发数:5000 分钟级复杂查询并发数:80 毫秒级短事务并发数:5000 分区表的分区个数 32768 32768 32768 分区表的单个分区大小 1PB 1PB 1PB 分区表的单个分区记录数 255 255 255 并发连接数的最大值基于数仓规格48 vCPU和64 vCPU。例如,标准数仓云盘规格dwsk.12xlarge(48 vCPU | 384GB | 24000GB SSD)或dwsx2.16xlarge.m7 (64 vCPU | 512GB | 32000GB SSD)。
  • 集群管理 一个GaussDB(DWS)集群由多个在相同子网中的相同规格的节点组成,共同提供服务。GaussDB(DWS)为用户提供了简单易用的Web管理控制台,让用户可以快速申请集群,轻松执行数据仓库管理任务,专注于数据和业务。 集群管理的主要功能如下: 创建集群 如果用户需要在云上环境中使用数据仓库服务,首先应创建一个GaussDB(DWS)集群。用户可根据业务需求选择相应的产品规格和节点规格快速创建集群。您也可以先购买包年/包月,然后再创建集群。 管理快照 快照是GaussDB(DWS)集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据,快照可用于还原某一时刻的集群。用户可以为集群手动创建快照,也可以开启定时创建自动快照。自动快照有保留天数限制,用户可以对自动快照进行复制,生成手动快照以便长期保留。 当您从快照恢复集群时,系统支持将快照数据恢复到新集群或者原集群中。 对于不再需要的快照,可以选择在控制台删除快照(自动快照不支持手动删除),以释放存储空间。 管理节点 用户可查看所创集群的节点列表,在节点管理页面可以清晰的查询各节点的状态、节点规格、是否已使用等信息。若用户需要进行大规模扩容操作时,可通过节点管理功能提前分批次添加准备好用于扩容的节点。例如需要新扩容180个BMS节点,可分3批各添加60个,如果其中有一部分添加失败,可再次添加失败数量的节点,等180个节点添加成功后,再使用这些添加好的节点进行扩容,添加节点过程中不影响集群业务。 扩容集群 随着业务的增长,现有集群规模可能无法满足业务需要,此时,用户可以扩容集群,为集群增加计算节点。扩容时业务不中断。进行扩容操作时,用户可根据需求选择是否在线扩容和自动重分布。 管理重分布 默认情况下,在扩容之后将自动调起重分布任务,为了增强扩容重分布整个流程的可靠性,可以选择在扩容时关闭自动重分布功能,在扩容成功之后再手动使用重分布功能执行重分布任务,数据重分布后将大大提升业务响应速率。当前重分布支持离线重分布、在线重分布两种模式,默认情况下,提交重分布任务时将选择离线重分布模式。 磁盘扩容 随着客户业务的发展,磁盘空间往往最先出现资源瓶颈,在其他资源尚且充足的情况下,执行传统扩容操作不仅耗时久,还伴随着资源浪费问题。通过磁盘扩容可快速缓解存储资源瓶颈现象,操作过程中无需暂停业务,并且不会造成CPU、内存等资源浪费。用户可在没有其他业务情况下选择磁盘扩容操作,扩容成功后如果磁盘空间不够可以继续磁盘扩容,若扩容失败用户可尝试重新进行磁盘扩容操作。 资源管理 当您有多个数据库用户同时查询作业时,一些复杂查询可能会长时间占用集群资源,从而影响其他查询的性能。例如一组数据库用户不断提交复杂、耗时的查询,而另一组用户经常提交短查询。在这种情况下,短时查询可能不得不在队列中等待耗时查询完成。为了提高效率,GaussDB(DWS)提供了资源管理功能,GaussDB(DWS)资源管理以资源池为资源承载,对于不同的业务类型可以创建不同的资源池,为这些资源池配置不同的资源占比,并将数据库用户添加至对应的资源池中,以此来限制这些数据库用户的资源使用。 逻辑集群 逻辑集群是基于Node Group机制来划分物理节点的一种集群模式,从节点层次将大集群进行划分,和数据库形成交叉。一个数据库中的表可以按逻辑集群来分配到不同的物理节点,而一个逻辑集群也可以包含多个数据库的表。 重启集群 重启集群将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 删除集群 当用户不再需要集群时,可选择删除集群。此操作为高危操作,删除集群可能导致数据丢失,请谨慎操作。 GaussDB(DWS)为用户提供了以下两种方式管理集群: 管理控制台方式 使用管理控制台方式访问GaussDB(DWS)集群。用户在注册后,可直接登录管理控制台,选择“数据仓库服务”。 有关集群管理的更多内容,请参见管理集群。 REST API方式 支持使用GaussDB(DWS)提供的REST API接口以编程的方式管理集群。如果用户需要将GaussDB(DWS)集成到第三方系统,用于二次开发,请使用API方式访问。 详细内容,请参见《数据仓库服务API参考》。
  • 多样化的数据导入方式 GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见迁移数据到GaussDB(DWS)章节。 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据 使用DLI将数据导入GaussDB(DWS) 使用DRS将数据导入GaussDB(DWS) 使用CDM迁移数据到GaussDB(DWS) 使用DSC工具迁移SQL脚本 使用gs_dump和gs_dumpall命令导出元数据 使用gs_restore导入数据
  • 高可靠性 通过实例冗余、数据冗余,实现整个系统无单点故障。 数据多副本,且所有数据可手动备份至OBS。 自动隔离有故障的节点,利用副本重新恢复数据,并在必要时替换节点。 自动快照结合OBS存储,实现Region内容灾,若用户生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。 当集群状态为“非均衡”时会出现某些节点主实例增多,从而负载压力较大,用户可在业务低峰期进行集群主备恢复操作。 用户使用客户端连接DWS集群时,如果用户仅连接一个CN节点地址,通过该CN节点内网IP或弹性公网IP连接时,只能连接到固定的CN节点上,存在CN单点问题。因此GaussDB(DWS)引入了弹性负载均衡服务,解决集群访问的单点问题。弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。 当用户集群创建后,实际需要的CN数量会随着业务需求而发生变化,因此GaussDB(DWS)提供了增删CN节点功能,实现用户可以根据实际需求动态调整集群CN数量的要求。
  • 支持多种数据库工具 GaussDB(DWS)提供了以下几款自研工具,用户可以在GaussDB(DWS)管理控制台下载相关的工具包。有关工具的详细指导请参见《数据仓库服务工具指南》。 gsql工具 它是一款运行在Linux操作系统的命令行SQL客户端工具,用于连接GaussDB(DWS)集群中的数据库,并对数据库进行操作和维护。 Data Studio工具 它是一款运行在Windows操作系统上的图形界面SQL客户端工具,用于连接GaussDB(DWS)集群中的数据库、管理数据库和数据库对象,编辑、运行、调试SQL脚本,查看执行计划等。 GDS工具 它是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导入导出。 GDS工具包需要安装在数据源文件所在的服务器上,数据源文件所在的服务器称为数据服务器,也称为GDS服务器。 DSC SQL语法迁移工具 DSC(Database Schema Convertor)是一款运行在Linux或Windows操作系统上的命令行工具,致力于向客户提供简单、快速、可靠的应用程序SQL脚本迁移服务,通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本,并迁移为适用于GaussDB(DWS)数据库的应用程序SQL脚本。 DSC支持迁移Teradata、Oracle、Netezza、MySQL和DB2数据库的SQL脚本。 gs_dump和gs_dumpall gs_dump支持导出单个数据库或其内的对象,而gs_dumpall支持导出集群中所有数据库或各库的公共全局对象。 通过导入工具将导出的元数据信息导入至需要的数据库,可以完成数据库信息的迁移。 gs_restore 在数据库迁移场景下,支持使用gs_restore工具将事先使用gs_dump工具导出的文件格式,重新导入GaussDB(DWS)集群,实现表定义、数据库对象定义等元数据的导入。
  • 监控与审计 监控集群 GaussDB(DWS)与 云监控 (Cloud Eye)集成,使您能够对集群中的计算节点和数据库进行实时监控。详情请参见监控集群。 数据库监控 数据库监控(DMS)是为GaussDB(DWS)数据库提供多维度监控服务的系统,为客户数据库的快速、稳定运行提供保驾护航的能力。该功能对业务数据库使用的磁盘、网络、OS指标数据以及集群运行关键性能指标数据进行收集、监控、分析。通过综合收集到的多种类型指标,对数据库主机、实例、业务SQL进行诊断,及时暴露数据库中关键故障及性能问题,指导客户进行优化解决。详情请参见数据库监控(DMS)。 告警管理 告警管理包含查看告警规则、告警规则配置与告警信息订阅功能。其中,告警规则可以提供过去一周的告警信息统计与告警信息明细,方便用户自行查看租户下的告警。该功能以默认告警规则阈值的方式提供常用的GaussDB(DWS)告警监控,还允许用户根据自己的业务特点,自定义告警阈值。详情请参见告警管理。 事件通知 GaussDB(DWS)与 消息通知 服务对接,使您能够订阅事件并查看触发的各类事件。详情请参见事件通知。 审计日志 GaussDB(DWS)与 云审计 服务集成,使您能够对所有的管理控制台操作及API调用进行审计。详情请参见查看管理控制台关键操作审计日志。 GaussDB(DWS)数据库还会记录所有的SQL操作,包括连接尝试、查询和数据库的变动。详情请参见设置数据库审计日志。
  • 企业级数据仓库和标准SQL的支持 当创建好GaussDB(DWS)集群后,用户就可以使用SQL客户端工具连接集群,然后执行创建数据库、管理数据库、导入/导出数据以及查询数据的操作。 GaussDB(DWS)为用户提供了PB(petabyte)级高性能数据库,主要体现在: MPP大规模并行处理框架,支持行列混存、向量化执行,实现万亿数据关联分析秒级响应。 内存计算,基于Bloom Filter的Hash Join优化,性能提升2~10倍。 支持全对称分布式的Active-Active多节点集群架构,系统无单点故障。 基于电信技术优化的大规模集群通信,提升计算节点间的传输效率。 基于代价的智能优化器,根据集群规模、数据量、生成最优计划,提高执行效率。 GaussDB(DWS)具有完备的SQL能力: 兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法标准,支持存储过程,支持GBK和UTF-8字符集,支持SQL标准函数与OLAP分析函数。 兼容PostgreSQL/Oracle/Teradata/MySQL数据库生态,与主流第三方数据库ETL,BI(business intelligence)工具厂商对接认证。 支持位图roaring bitmap数据类型及对应常见函数,在互联网、零售、教育、游戏等行业,提取用户特征、用户画像等场景有广泛应用。 在现有范围分区(Range Partitioning)基础上,新增支持list分区方式:PARTITION BY LIST (partition_key,[...]),满足用户使用习惯。 HDFS/OBS外表READ ONLY外表支持JSON文件格式。 支持系统表赋权给普通用户,VACUUM能够单独赋权,以及支持可扩展的预定义权限角色功能。 新增表级权限ALTER/DROP/VACUUM。 新增Schema级权限ALTER/DROP。 新增预置角色role_signal_backend、role_read_all_stats。 详细的SQL语法和数据库操作指导,请参见《数据仓库服务数据库开发指南》。
  • 实时数仓规格 创建实时数仓时,用户可根据需求选择集群部署或单机部署: 集群部署:创建集群时可选择带有h的节点规格,规格详情请参见表5,此时实时数仓支持集群部署,支持节点扩容、资源池等功能。 单机部署:创建集群时可选择带有h1的节点规格,规格详情请参见表6,此时实时数仓只支持单机部署,单机形态不提供高可用服务,因此存储成本可减半,单机模式服务可用性通过E CS 自动重建实现,数据可靠性通过EVS多副本机制保证。单机形态性价比更高,建议用于轻量化业务。 表5 实时数仓(集群形态)规格 规格名称 CPU架构 vCPU 内存(GB) 单节点存储容量 步长(GB) DN数量 使用场景 dwsx2.h.xlarge.4.c7 X86 4 16 20GB ~ 2000GB 20 1 DWS的入门规格,一般用于测试、学习环境或者小型分析系统。 dwsk2.h.xlarge.4.kc1 ARM 4 16 20GB ~ 2000GB 20 1 dwsx2.h.xlarge.4.c7n X86 4 16 20GB ~ 2000GB 20 1 dwsx2.h.2xlarge.4.c6 X86 8 32 100GB ~ 4000GB 100 1 适用于中小企规模企业内部数据仓库构建和报表分析。 dwsx2.h.2xlarge.4.c7 X86 8 32 100GB ~ 4000GB 100 1 dwsk2.h.2xlarge.4.kc1 ARM 8 32 100GB ~ 4000GB 100 1 dwsx2.h.2xlarge.4.c7n X86 8 32 100GB ~ 4000GB 100 1 dwsx2.h.4xlarge.4.c7 X86 16 64 100GB ~ 8000GB 100 1 推荐在生产环境下使用,适用于绝大部分企业大数据量OLAP分析系统,BI报表,可视化大屏等场景。 dwsk2.h.4xlarge.4.kc1 ARM 16 64 100GB ~ 8000GB 100 1 dwsx2.h.4xlarge.4.c7 X86 16 64 100GB ~ 8000GB 100 1 dwsx2.h.8xlarge.4.c7 X86 32 128 100GB ~ 16000GB 100 2 dwsk2.h.8xlarge.4.kc1 ARM 32 128 100GB ~ 16000GB 100 2 dwsx2.h.8xlarge.4.c7n X86 32 128 100GB ~ 16000GB 100 2 dwsk2.h.12xlarge.4.kc1 ARM 48 192 100GB ~ 24000GB 100 4 有着极致的性能,适用于高吞吐数仓加工,高并发在线查询生产环境。 dwsx2.h.16xlarge.4.c7 X86 64 256 100GB ~ 32000GB 100 4 dwsx2.h.16xlarge.4.c7n X86 64 256 100GB ~ 32000GB 100 4 表6 实时数仓(单机形态)规格 规格名称 CPU架构 vCPU 内存(GB) 单节点存储容量 步长(GB) DN数量 使用场景 dwsx2.h1.xlarge.2.c7 X86 4 8 20GB ~ 2000GB 20 1 DWS的入门规格,一般用于测试、学习环境或者小型分析系统。 dwsk2.h1.xlarge.2.kc1 ARM 4 8 20GB ~ 2000GB 20 1 dwsx2.h1.xlarge.2.c7n X86 4 8 20GB ~ 2000GB 20 1 dwsx2.h1.2xlarge.4.c7 X86 8 32 100GB ~ 4000GB 100 1 适用于中小企规模企业内部数据仓库构建和报表分析。 dwsk2.h1.2xlarge.4.kc1 ARM 8 32 100GB ~ 4000GB 100 1 dwsx2.h1.2xlarge.4.c7n X86 8 32 100GB ~ 4000GB 100 1 dwsx2.h1.4xlarge.4.c7 X86 16 64 100GB ~ 8000GB 100 1 推荐在生产环境下使用,适用于绝大部分企业大数据量OLAP分析系统,BI报表,可视化大屏场景。 dwsk2.h1.4xlarge.4.kc1 ARM 16 64 100GB ~ 8000GB 100 1 dwsx2.h1.4xlarge.4.c7n X86 16 64 100GB ~ 8000GB 100 1 dwsx2.h1.8xlarge.4.c7 X86 32 128 100GB ~ 16000GB 100 2 dwsk2.h1.8xlarge.4.kc1 ARM 32 128 100GB ~ 16000GB 100 2 dwsx2.h1.8xlarge.4.c7n X86 32 128 100GB ~ 16000GB 100 2 dwsk2.h1.12xlarge.4.kc1 ARM 48 192 100GB ~ 24000GB 100 4 有着极致的性能,适用于高吞吐数仓加工,高并发在线查询生产环境。 dwsx2.h1.16xlarge.4.c7 X86 64 256 100GB ~ 32000GB 100 4 dwsx2.h1.16xlarge.4.c7n X86 64 256 100GB~32000GB 100 4
  • 标准数仓(DWS 3.0)规格 标准数仓(DWS 3.0)云盘规格,该规格弹性伸缩,无限算力、无限容量,规格详情请参见表3。 标准数仓(DWS 3.0)本地盘规格,该规格存储容量固定,不能够进行磁盘扩容和规格变更,只能进行节点扩容,规格详情请参见表4。 表3 标准数仓(DWS 3.0)云盘规格 规格名称 CPU架构 vCPU 内存(GB) 单节点存储容量 步长(GB) DN数量 使用场景 dwsx3.4U16G.4DPU X86 4 16 20GB~2000GB 10 1 DWS的入门规格,一般用于测试、学习环境或者小型分析系统。 dwsk3.4U16G.4DPU ARM 4 16 20GB~2000GB 10 1 dwsx3.8U32G.8DPU X86 8 32 100GB~4000GB 100 1 适用于中小企规模企业内部数据仓库构建和报表分析。 dwsk3.8U32G.8DPU ARM 8 32 100GB~4000GB 100 1 dwsx3.16U64G.16DPU X86 16 64 100GB~8000GB 100 1 推荐在生产环境下使用,适用于绝大部分企业大数据量OLAP分析系统,BI报表,可视化大屏场景。 dwsk3.16U64G.16DPU ARM 16 64 100GB~8000GB 100 1 dwsx3.32U128G.32DPU X86 32 128 100GB~16000GB 100 2 dwsk3.32U128G.32DPU ARM 32 128 100GB~16000GB 100 2 dwsk3.48U192G.48DPU ARM 48 192 200GB~24000GB 100 4 有着极致的性能,适用于高吞吐数仓加工,高并发在线查询生产环境。 dwsx3.64U256G.64DPU X86 64 256 200GB~32000GB 100 4 表4 标准数仓(DWS 3.0)本地盘规格 规格名称 CPU架构 vCPU 内存(GB) 单节点存储容量 DN数量 使用场景 dws3.16U128G.i7.16DPU X86 16 128 2980GB 1 推荐在生产环境下使用,适用于绝大部分企业大数据量OLAP分析系统,BI报表,可视化大屏等场景。 有着极致的性能,适用于高吞吐数仓加工,高并发在线查询生产环境。 dws3.16U64G.ki1.16DPU ARM 16 64 5960GB 1 dws3.32U256G.i7.32DPU X86 32 256 5960GB 2 dws3.32U128G.ki1.32DPU ARM 32 128 11920GB 2 dws3.64U512G.i7.64DPU X86 64 512 11920GB 4 dws3.64U228G.ki1.64DPU ARM 64 228 23840GB 4
  • 标准数仓(DWS 2.0)规格 标准数仓(DWS 2.0)云盘规格,该规格弹性伸缩,无限算力、无限容量,规格详情请参见表1。 标准数仓(DWS 2.0)本地盘规格,该规格存储容量固定,不能够进行磁盘扩容,只能进行节点扩容,规格详情请参见表2。 步长指在集群变配过程中增大或减小磁盘大小的间隔大小。用户在操作时需要按照对应规格的存储步长来选择。 表1 标准数仓(DWS 2.0)云盘规格 规格名称 CPU架构 vCPU 内存(GB) 单节点存储容量 默认存储 步长(GB) 建议存储 DN数量 使用场景 dwsx2.xlarge.m7 X86 4 32 20GB ~ 2000GB 100 10 800 1 DWS的入门规格,一般用于测试、学习环境或者小型分析系统。 dwsk2.xlarge ARM 4 32 20GB ~ 2000GB 100 10 800 1 dwsx2.xlarge.m7n X86 4 32 20GB ~ 2000GB 100 10 800 1 dwsx2.2xlarge.m7 X86 8 64 100GB ~ 4000GB 200 100 1600 1 适用于中小企规模企业内部数据仓库构建和报表分析。 dwsk2.2xlarge ARM 8 64 100GB ~ 4000GB 200 100 1600 1 dwsx2.2xlarge.m7n X86 8 64 100GB ~ 4000GB 200 100 1600 1 dwsx2.4xlarge.m7 X86 16 128 100GB ~ 8000GB 400 100 3200 1 dwsk2.4xlarge ARM 16 128 100GB ~ 8000GB 400 100 3200 1 dwsx2.8xlarge.m7 X86 32 256 100GB ~ 16000GB 800 100 6400 2 推荐在生产环境下使用,适用于绝大部分企业大数据量OLAP分析系统,BI报表,可视化大屏场景。 dwsk2.8xlarge ARM 32 256 100GB ~ 16000GB 800 100 6400 2 dwsx2.8xlarge.m7n X86 32 256 100GB ~ 16000GB 800 100 6400 2 dwsk2.12xlarge ARM 48 384 100GB ~ 24000GB 1200 100 9600 4 有着极致的性能,适用于高吞吐数仓加工,高并发在线查询生产环境。 dwsx2.16xlarge.m7 X86 64 512 100GB ~ 32000GB 1600 100 12800 4 dwsx2.16xlarge.m7n X86 64 512 100GB ~ 32000GB 1600 100 12800 4 表2 标准数仓(DWS 2.0)本地盘规格 规格名称 CPU架构 vCPU 内存(GB) 单节点存储容量 DN数量 使用场景 dws2.olap.4xlarge.i3 X86 16 128 1490GB 1 推荐在生产环境下使用,适用于绝大部分企业大数据量OLAP分析系统,BI报表,可视化大屏等场景。 有着极致的性能,适用于高吞吐数仓加工,高并发在线查询生产环境。 dws2.olap.4xlarge.ki1 ARM 16 64 2980GB 1 dws2.olap.8xlarge.i3 X86 32 256 2980GB 2 dws2.olap.8xlarge.ki1 ARM 32 128 5960GB 2 dws2.olap.16xlarge.i3 X86 64 512 5960GB 4 dws2.olap.16xlarge.ki1 ARM 64 228 11921GB 4
  • 创建KMS委托 操作场景 转加密集群前需要用户提前创建好授权给GaussDB(DWS)具有KMS Administrator权限的委托。 操作步骤 鼠标移动至页面右上角账号,单击“统一身份认证”,进入统一身份认证服务页面。 在左侧导航栏单击“委托”,在委托页面右上角单击“创建委托”。 创建委托时委托类型选择“云服务”,云服务选择“DWS”。 单击“完成”后,在弹窗中单击“立即授权”对委托授予KMS服务的“KMS Administrator”权限。 单击“下一步”,选择授权资源范围为“所有资源”或需要访问的资源,然后确认无误后提交。
  • 概述 集群日志服务用于采集集群日志并报送 云日志 服务(Log Tank Service,以下简称LTS),用户可以在LTS云日志服务查看采集的集群日志或进行日志转储。 当前支持的日志类型为:CN节点日志、DN节点日志、操作系统messages日志、审计日志、cms日志、gtm日志、roach客户端日志、roach服务端日志、升级日志和扩容日志。 集群日志管理仅8.1.1.300及以上版本支持。 cms日志、gtm日志、roach客户端日志、roach服务端日志、扩容日志、升级日志仅8.3.0及以上版本支持。
  • 前提条件 已创建GDS-kafka集群。 GDS-kafka集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP、云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务,则网络互通需满足如下条件: GDS-kafka集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 GDS-kafka集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 必须确保该云服务的实例与集群所属的企业项目必须一致,如果不同,需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。
共100000条