云服务器内容精选

  • 9.1.0.100版本(2024年8月12日) 【弹性架构】 架构升级:基于华为云 对象存储服务 OBS,推出存算分离架构3.0,计算、存储分层弹性,存储按需收费,降本增效;计算支持多VW(Virtual Warehouse,逻辑集群,以下简称VW)部署,业务隔离性更好,解决业务间的资源争抢问题。 推出弹性VW特性,弹性VW完全无状态,支持读写加速,灵活应对并发处理能力不足、业务波峰波谷不均衡、数据加载和数据分析资源争抢等问题,详情参见弹性增删逻辑集群。 增删DN节点,支持弹性扩容和经典扩容,弹性扩容不会对OBS上的数据进行重分布,经典扩容会重分布所有数据,系统会根据bucket总数和DN数目,自动决定采用何种扩容方式。 存算分离架构(DWS 3.0)通过磁盘缓存和IO异步读写提升性能,在磁盘缓存全命中时,持平存算一体架构(DWS 2.0)。 图1 存算分离架构
  • 9.1.0.102补丁(2024年9月25日) 该版本为补丁版本,主要修复已知问题。 【升级收编】 支持9.0.3版本升级到9.1.0系列。 【修复已知问题】 存算分离版本支持alter database xxx rename to yyy。 修复存算分离表 \d+ 空间size显示错误问题。 修复备份恢复之后,异步排序未运行的问题。 修复bitmap index列删除后,无法使用Create Table Like语法的问题。 修复Turbo引擎在Group By场景下,hash算法冲突导致的性能回退问题。 调度器对于失败任务的处理行为和8.3.0版本保持一致。 修复故障场景下,pg_stat_object空间膨胀问题。 修复8.3.0升级到9.1.0, DataArts Studio 下发的Vacuum Full作业报错问题。 修复JSON字段计算CPU和内存消耗高问题。 【功能增强】 ORC外表支持zstd压缩格式。 GIS新增支持st_asmvtgeom/st_asmvt/st_squaregrid函数。
  • 9.1.0.210版本(2024年11月25日) 【存算分离】 支持通过使用explain warmup进行缓存预热,可以把数据预热到本地磁盘缓存的冷端或者热端。 弹性VW功能增强:更灵活的业务分流方式,支持以CN粒度配置业务分流到主VW或者弹性VW。 存算分离表支持insert并行,提升数据加载性能。 存算分离表支持回收站,可以对drop table/partition, truncate table/partition等误操作进行快速闪回。 冷热表支持使用磁盘缓存、异步IO进行性能加速。 【实时数仓】 limit…offset翻页场景性能大幅提升;inlist场景性能大幅提升。 正式商用Binlog特性。 自动分区支持整型和变长类型的时间列。 【湖仓一体】 parquet/orc读写新增对zstd压缩格式的支持。 Create table like支持使用external schema中的表作为like源表。 外表支持并行导出。 【高可用】 存算分离表和冷热表支持增量备份恢复。 通过并行拷贝优化存算分离场景的备份性能。 【生态兼容】 兼容MySQL的replace into语法,interval时间类型。 pg_get_tabledef导出支持字段展示comment。 【运维&稳定性提升】 磁盘使用率高时,支持配置从备数据转储到OBS。 当数据库即将发生只读时,拦截一些发生下盘的语句和产生新表和新物理文件的语句,以此快速回收磁盘空间,保证其它语句执行。 支持审计日志转储到OBS。 新增轻量级锁视图pgxc_lwlocks。 常规锁视图新增锁获取和等待时间戳。 全局死锁检测功能默认打开。 新增vacuum full与select之间的让锁功能。 gs_view_invalid增加失效时间,辅助运维人员清理无效对象 【规格&约束】 最大支持256个VW,每个VW 最大支持1024个DN。建议VW不超过32个,每个VW不超过128个DN。 OBS存算分离表不支持容灾,不支持细粒度备份恢复。 【行为变更】 升级开启max_process_memory自适应功能,主备均衡模式下,增加DN可用内存。 扩容数据重分布默认开启数据一致性校验,扩容时间会增加10%。 新建Hstore_opt表,默认打开turbo引擎,压缩级别默认为middle。 存算分离表OBS路径默认显示为相对路径。 使用磁盘缓存(diskcache)必须同时打开异步IO参数。 列存表的索引清理时间间隔从1小时调小为10分钟,可以更快速地清理占用的索引空间。 CREATE TABLE和ALTER TABLE不支持将有on update表达式的列设置为分布列。 Parquet数据查询,读取INT96格式保存的Timestamp数据时不再做8小时修正。 max_stream_pool用于控制stream线程池缓存的线程数量,默认值由65525调整至1024,避免空闲线程内存占用过大。 track_activity_query_size参数从动态生效调整为重启生效。 不再支持逻辑复制功能,相关接口调用会报错。
  • 告警解释 GaussDB (DWS)每30秒采集集群各节点所有磁盘的使用情况。 如果存在磁盘最近10分钟(可配置)内的最大使用率超过80%(可配置),则上报节点数据盘使用率超阈值的重要告警;如果平均使用率低于75%(即上报阈值减去5%),则消除该重要告警。 如果存在磁盘最近10分钟(可配置)内的最大使用率超过85%(可配置),则上报节点数据盘使用率超阈值的紧急告警;如果平均使用率低于80%(即上报阈值减去5%),则消除该紧急告警。 如果存在磁盘的最大使用率一直大于上报阈值,那么在24小时(可配置)后将再次发起告警。
  • 实时查询分析 该页面分为三个模块,包含实时并发度及用户分布、锁等待数量、慢SQL数量、SQL排队数量、业务并发趋势分析、实时查询列表、实时查询数据汇总。 图6 实时查询分析 实时并发度:显示当前集群实时运行的SQL数量,以及各个用户的并发度分布。 锁等待数量:显示当前集群正在等待锁的SQL数量。 慢SQL数量:显示duration时长超过60s的SQL数量。 SQL排队数量:显示集群全局排队、资源池排队和CCN排队总数量。 业务并发:业务并发趋势分析,显示指定时间范围内,集群业务并发数量曲线图,并可按照不同维度(用户/节点/资源池)进行统计。 实时查询:可以浏览集群中正在运行的所有查询信息,支持全字段排序和查杀功能。单击列表右上方的设置按钮勾选需要在列表中展示的指标信息。 单击操作列“终止”按钮可终止单实时TopSQL查询。 单击列表上方“终止查询”按钮可勾选多个实时TopSQL查询并终止。 单击操作列“执行计划”按钮可查看实时TopSQL执行计划可视化树形图,展示每个节点执行时长、type和扫描行数等信息。 新增细粒度权限控制功能,只有配置了操作权限的用户才能使用终止查询按钮。只读权限用户登录后终止查询按钮为灰色。 实时数据汇总:按照不同维度(节点/Query ID/用户/资源池)对实时TopSQL查询数据进行汇总,显示统计正在运行SQL数量、排队数量、慢SQL数量、复杂语句数量、等锁数量、简单语句数量。
  • 实时会话分析 该页面分为三个模块,包含实时会话数量及用户分布、空闲会话数量、活跃会话数量、CCN排队作业数量、会话数量趋势分析、实时会话列表、实时会话数据汇总。 图7 实时会话分析 实时会话:显示当前集群实时会话总数量,以及各个用户的并发度分布。 空闲会话数:显示当前集群空闲会话总数量。 活跃会话总数:显示当前集群活跃会话总数量。 CCN排队作业数量:显示CCN排队总数量。 会话数量:会话数量趋势分析,显示指定时间范围内,集群业务并发数量曲线图,并可按照不同维度(用户/节点/资源池)进行统计。 实时会话列表:可以浏览到正在运行中的所有会话实时信息,支持全字段排序和查杀功能。单击列表右上方的设置按钮勾选需要在列表中展示的指标信息。 单击操作列“终止”按钮可终止单实时会话。 单击列表上方“终止会话”按钮可勾选多个会话并终止。 新增细粒度权限控制功能,只有配置了操作权限的用户才能使用终止会话按钮。只读权限用户登录后终止会话按钮为灰色。 实时数据汇总:按照不同维度(节点/用户/资源池)对实时会话数据进行汇总,显示统计活跃会话数、空闲会话数、CPU占用时间(s)、内存使用平均值(MB)、预估内存(MB)、下盘数据量(MB)。
  • 历史查询分析 该页面分为三个模块,包含历史查询总趋势分析、SQL质量趋势分析、SQL运行时长趋势、SQL质量概览、历史TopSQL查询详情、历史TopSQL一键诊断(执行计划诊断和SQL语句诊断)、历史数据汇总。 图2 历史查询分析 历史查询总趋势:基于不同维度(集群/用户/实例/应用名称/资源池)的聚合统计。在指定时间范围内,可统计每分钟执行SQL数量。 SQL质量趋势:统计指定时间范围内,每类异常项的SQL数量。 SQL运行时长趋势:统计集群历史SQL执行时间(最小时长/平均时长/最大时长)。 SQL质量概览:提供各类异常SQL数量,单击卡片列表同步过滤。 异常项包括:执行计划不下推、CPU超过10万秒、Not in子查询、时长超过1小时、内存使用超过10GB、下盘超50G、Streaming数量超50。 针对不同集群可调整各类异常项的阈值,请联系技术支持人员设置。异常诊断规则基于GaussDB(DWS)集群历史TopSQL字段灵活配置。 历史查询详情:可以浏览运行过的所有查询历史信息,支持条件搜索和全字段排序功能。单击列表右上方的设置按钮勾选需要在列表中展示的指标信息。 查看详情:查看单历史TopSQL详情。单击单历史TopSQL所在行操作列的“查看详情”按钮,可查看查询语句的基本信息、在执行中的实时资源消耗、完整SQL语句以及查询计划。 一键诊断:对单历史TopSQL进行诊断。单击单历史TopSQL所在行操作列的“一键诊断”按钮,可以查看SQL语句的静态检查和执行计划诊断结果并可视化。 执行计划诊断:针对执行计划格式,对执行计划字符串进行解析,及对历史TopSQL表中执行计划进行诊断。提供可视化树形图,展示每个节点执行时长、type和扫描行数等信息。 异常诊断项包含:重分布异常、估算异常、计算倾斜、分区扫描异常、跨逻辑集群查询。 执行计划可视化想要显示每步执行时长,需设置参数“resource_track_level=perf”,否则无法查看。 图3 计划可视化 图4 计划诊断 SQL诊断:针对用户编写的SQL语句,结合GaussDB(DWS)SQL开发规范,对SQL语句进行静态检查,可分析出不符合规范的SQL,并给出修复意见。 SQL开发规范是结合GaussDB(DWS)使用情况制定的,仅具有参考价值,给出的规范还需要根据用户使用情况后续进行迭代,详情请参见GaussDB(DWS)总体开发设计规范。 图5 SQL诊断 数据汇总:按照不同维度(数据库/用户/资源池/应用名称/实例/uniqueSQLId)对历史TopSQL数据进行汇总,显示SQL数量和资源消耗情况。 单击“查看详情”按钮可查看指定对象具体资源消耗详情信息。
  • 查看企业项目 在集群创建成功后,您可以在集群列表和集群详情页面查看集群关联的企业项目。用户只能查询到有访问权限的项目下的集群资源。 在集群管理页面的集群列表中,查看集群所属的企业项目。 图1 查看企业项目 在集群列表中,找到所需要的集群,然后单击集群名称,进入“集群详情”页面,可以查看与集群关联的企业项目。单击企业项目的名称,可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。 图2 查看集群的企业项目 同时,在企业管理的控制台上,查询指定项目中的资源列表时,也可以查询到GaussDB(DWS)服务的资源。
  • 绑定企业项目 在GaussDB(DWS)中,用户可以在创建集群时为集群选择所属的企业项目,从而将GaussDB(DWS)集群与企业项目进行关联,详情请参见创建GaussDB(DWS)存算一体集群。在选择“企业项目”的下拉列表中,将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为集群选择企业项目,将使用缺省项目“default”。 注意,目前企业项目服务仍处于公测期间,仅允许有公测权限的用户设置企业项目,普通用户无法看到企业项目相关信息。 在集群创建过程中,如果集群与企业项目绑定成功,则集群创建成功,如果绑定失败,系统会发送告警,集群就会创建失败。 在为GaussDB(DWS)集群创建快照时,会同时保存集群与企业项目的关联关系,在恢复集群时,也会恢复企业项目的关联关系。 当删除GaussDB(DWS)集群时,GaussDB(DWS)集群与企业项目的关联关系就会被自动删除。
  • 将集群迁入或迁出企业项目 一个GaussDB(DWS)集群只能关联一个企业项目。当集群创建成功后,可以在企业管理的控制台上,执行迁出操作,将GaussDB(DWS)集群从当前所属的企业项目中迁出到另一个企业项目中;或者执行迁入操作,在指定的企业项目中迁入另一个企业项目中的GaussDB(DWS)集群。迁入迁出后,GaussDB(DWS)集群与新的企业项目进行关联,GaussDB(DWS)集群与原企业项目的关联关系将被自动解除。 迁入的详细操作,请参考《企业管理用户指南》的为企业项目迁入资源。 迁出的详细操作,请参考《企业管理用户指南》的迁出企业项目资源。
  • 概述 GaussDB(DWS)提供了使用 IAM 认证方式访问数据库的功能。当使用JDBC应用程序连接集群时,您可以在JDBC连接中配置IAM用户名及其用户凭证等信息,在连接数据库时系统就会自动生成临时数据库凭证,从而成功连接到数据库。 当前仅支持1.3.1及以上版本的集群及其配套的JDBC驱动程序使用IAM认证方式访问数据库。请先参考下载JDBC或ODBC驱动下载JDBC驱动程序。 IAM用户凭证有密码和访问密钥(Access Key ID和Secret Access Key,简称AK和SK)两种类型,您要为JDBC连接提供IAM访问密钥。 如需使用IAM用户凭证访问数据库,必须先给您的IAM用户授予DWS Database Access权限,同时拥有DWS Administrator和DWS Database Access权限的用户,才能基于IAM用户生成临时数据库用户凭证以连接GaussDB(DWS)数据库。 需要注意的是,DWS Database Access是用户组级别的权限,您可以通过为用户组授权并将用户加入到用户组的方式,使用户具有用户组中的权限。 在IAM中,只有admin用户组的用户可以管理用户。如需给IAM用户授权,您的IAM账号必须属于IAM的admin用户组,否则,请联系IAM账号管理员帮您授权。 使用IAM用户凭证访问数据库的流程如下: 授予IAM用户DWS Database Access权限 创建IAM用户凭证 配置JDBC连接使用IAM认证方式连接集群
  • 创建IAM用户凭证 用户可以登录管理控制台创建访问密钥,如果您已经创建过了,也可以使用已有的访问密钥。 登录管理控制台。 将鼠标移到右上角的用户名,单击“我的凭证”。 再单击“管理访问密钥”页签,可以查看已有的访问密钥,也可以单击“新增访问密钥”进行创建。 访问密钥是IAM身份认证的重要凭证,只有在新增访问密钥时,用户才可以下载到含有Access Key ID(AK)和Secret Access Key(SK)的密钥文件,在管理控制台只能查看到Access Key ID,如果您未曾下载过该密钥文件,请联系您的管理员进行获取,或者重新创建。 每个用户最多可创建2个访问密钥,有效期为永久。为了账号安全性,建议您定期更换并妥善保存访问密钥。
  • 告警解释 GaussDB(DWS)开启实时查询监控时,默认每60秒通过GS_WLM_SESSION_STATIS TICS 视图检测CN上正在执行作业的排队状态。 如果10分钟(可配置)内检测集群中处于排队等待状态的SQL语句数量超过10个(可配置),则上报查询语句堆积数量超阈值告警;当集群处于等待状态的SQL语句数量小于10时,自动消除该告警。 如果一直存在能够引发告警的查询语句堆积数量,那么在24小时(可配置)后将再次发起告警。
  • 操作场景 集群粒度的快照和schema粒度的快照,可以指定快照备份集中的单表恢复到原集群。通常用户在业务操作中,对某个表中的数据进行了错误操作或者误删,需要对此表数据回滚到指定快照时,使用该功能。 如果当前控制台界面不支持该功能,请联系技术支持人员。 恢复单表到原集群的功能支持备份设备为OBS的快照。 该功能目前支持备份级别为“cluster”以及“schema”的快照。 集群状态和快照状态都为“可用”时,用户才可以进行单表恢复。 不支持状态为“只读”的集群进行单表恢复。 暂不支持细粒度恢复绝对表空间或相对表空间下的表。
  • 告警解释 GaussDB(DWS)每30秒采集集群各节点的数据盘I/O利用率。如果某节点的某数据盘最近10分钟(可配置)内的平均使用率超过90%(可配置),则上报节点数据盘I/O利用率超阈值告警;如果平均使用率低于85%(即上报阈值减去5%),则消除告警。 如果节点数据盘I/O利用率一直大于上报阈值,那么在24小时(可配置)后将再次发起告警。 基于SSD盘存储的集群,在业务量增多的情况下,磁盘I/O可能会超过100%,但不代表磁盘存在性能瓶颈,需结合实际业务运行情况判断告警有效性。