云服务器内容精选
-
9.1.0.100版本(2024年8月12日) 【弹性架构】 架构升级:基于华为云 对象存储服务 OBS,推出存算分离架构3.0,计算、存储分层弹性,存储按需收费,降本增效;计算支持多VW(Virtual Warehouse,逻辑集群,以下简称VW)部署,业务隔离性更好,解决业务间的资源争抢问题。 推出弹性VW特性,弹性VW完全无状态,支持读写加速,灵活应对并发处理能力不足、业务波峰波谷不均衡、数据加载和数据分析资源争抢等问题,详情参见弹性增删逻辑集群。 增删DN节点,支持弹性扩容和经典扩容,弹性扩容不会对OBS上的数据进行重分布,经典扩容会重分布所有数据,系统会根据bucket总数和DN数目,自动决定采用何种扩容方式。 存算分离架构(DWS 3.0)通过磁盘缓存和IO异步读写提升性能,在磁盘缓存全命中时,持平存算一体架构(DWS 2.0)。 图1 存算分离架构
-
9.1.0.102补丁(2024年9月25日) 该版本为补丁版本,主要修复已知问题。 【升级收编】 支持9.0.3版本升级到9.1.0系列。 【修复已知问题】 存算分离版本支持alter database xxx rename to yyy。 修复存算分离表 \d+ 空间size显示错误问题。 修复备份恢复之后,异步排序未运行的问题。 修复bitmap index列删除后,无法使用Create Table Like语法的问题。 修复Turbo引擎在Group By场景下,hash算法冲突导致的性能回退问题。 调度器对于失败任务的处理行为和8.3.0版本保持一致。 修复故障场景下,pg_stat_object空间膨胀问题。 修复8.3.0升级到9.1.0, DataArts Studio 下发的Vacuum Full作业报错问题。 修复JSON字段计算CPU和内存消耗高问题。 【功能增强】 ORC外表支持zstd压缩格式。 GIS新增支持st_asmvtgeom/st_asmvt/st_squaregrid函数。
-
9.1.0.210版本(2024年11月25日) 【存算分离】 支持通过使用explain warmup进行缓存预热,可以把数据预热到本地磁盘缓存的冷端或者热端。 弹性VW功能增强:更灵活的业务分流方式,支持以CN粒度配置业务分流到主VW或者弹性VW。 存算分离表支持insert并行,提升数据加载性能。 存算分离表支持回收站,可以对drop table/partition, truncate table/partition等误操作进行快速闪回。 冷热表支持使用磁盘缓存、异步IO进行性能加速。 【实时数仓】 limit…offset翻页场景性能大幅提升;inlist场景性能大幅提升。 正式商用Binlog特性。 自动分区支持整型和变长类型的时间列。 【湖仓一体】 parquet/orc读写新增对zstd压缩格式的支持。 Create table like支持使用external schema中的表作为like源表。 外表支持并行导出。 【高可用】 存算分离表和冷热表支持增量备份恢复。 通过并行拷贝优化存算分离场景的备份性能。 【生态兼容】 兼容MySQL的replace into语法,interval时间类型。 pg_get_tabledef导出支持字段展示comment。 【运维&稳定性提升】 磁盘使用率高时,支持配置从备数据转储到OBS。 当数据库即将发生只读时,拦截一些发生下盘的语句和产生新表和新物理文件的语句,以此快速回收磁盘空间,保证其它语句执行。 支持审计日志转储到OBS。 新增轻量级锁视图pgxc_lwlocks。 常规锁视图新增锁获取和等待时间戳。 全局死锁检测功能默认打开。 新增vacuum full与select之间的让锁功能。 gs_view_invalid增加失效时间,辅助运维人员清理无效对象 【规格&约束】 最大支持256个VW,每个VW 最大支持1024个DN。建议VW不超过32个,每个VW不超过128个DN。 OBS存算分离表不支持容灾,不支持细粒度备份恢复。 【行为变更】 升级开启max_process_memory自适应功能,主备均衡模式下,增加DN可用内存。 扩容数据重分布默认开启数据一致性校验,扩容时间会增加10%。 新建Hstore_opt表,默认打开turbo引擎,压缩级别默认为middle。 存算分离表OBS路径默认显示为相对路径。 使用磁盘缓存(diskcache)必须同时打开异步IO参数。 列存表的索引清理时间间隔从1小时调小为10分钟,可以更快速地清理占用的索引空间。 CREATE TABLE和ALTER TABLE不支持将有on update表达式的列设置为分布列。 Parquet数据查询,读取INT96格式保存的Timestamp数据时不再做8小时修正。 max_stream_pool用于控制stream线程池缓存的线程数量,默认值由65525调整至1024,避免空闲线程内存占用过大。 track_activity_query_size参数从动态生效调整为重启生效。 不再支持逻辑复制功能,相关接口调用会报错。
-
告警解释 GaussDB (DWS)每30秒采集集群各节点所有磁盘的使用情况。 如果存在磁盘最近10分钟(可配置)内的最大使用率超过80%(可配置),则上报节点数据盘使用率超阈值的重要告警;如果平均使用率低于75%(即上报阈值减去5%),则消除该重要告警。 如果存在磁盘最近10分钟(可配置)内的最大使用率超过85%(可配置),则上报节点数据盘使用率超阈值的紧急告警;如果平均使用率低于80%(即上报阈值减去5%),则消除该紧急告警。 如果存在磁盘的最大使用率一直大于上报阈值,那么在24小时(可配置)后将再次发起告警。
-
实时查询分析 该页面分为三个模块,包含实时并发度及用户分布、锁等待数量、慢SQL数量、SQL排队数量、业务并发趋势分析、实时查询列表、实时查询数据汇总。 图6 实时查询分析 实时并发度:显示当前集群实时运行的SQL数量,以及各个用户的并发度分布。 锁等待数量:显示当前集群正在等待锁的SQL数量。 慢SQL数量:显示duration时长超过60s的SQL数量。 SQL排队数量:显示集群全局排队、资源池排队和CCN排队总数量。 业务并发:业务并发趋势分析,显示指定时间范围内,集群业务并发数量曲线图,并可按照不同维度(用户/节点/资源池)进行统计。 实时查询:可以浏览集群中正在运行的所有查询信息,支持全字段排序和查杀功能。单击列表右上方的设置按钮勾选需要在列表中展示的指标信息。 单击操作列“终止”按钮可终止单实时TopSQL查询。 单击列表上方“终止查询”按钮可勾选多个实时TopSQL查询并终止。 单击操作列“执行计划”按钮可查看实时TopSQL执行计划可视化树形图,展示每个节点执行时长、type和扫描行数等信息。 新增细粒度权限控制功能,只有配置了操作权限的用户才能使用终止查询按钮。只读权限用户登录后终止查询按钮为灰色。 实时数据汇总:按照不同维度(节点/Query ID/用户/资源池)对实时TopSQL查询数据进行汇总,显示统计正在运行SQL数量、排队数量、慢SQL数量、复杂语句数量、等锁数量、简单语句数量。
-
实时会话分析 该页面分为三个模块,包含实时会话数量及用户分布、空闲会话数量、活跃会话数量、CCN排队作业数量、会话数量趋势分析、实时会话列表、实时会话数据汇总。 图7 实时会话分析 实时会话:显示当前集群实时会话总数量,以及各个用户的并发度分布。 空闲会话数:显示当前集群空闲会话总数量。 活跃会话总数:显示当前集群活跃会话总数量。 CCN排队作业数量:显示CCN排队总数量。 会话数量:会话数量趋势分析,显示指定时间范围内,集群业务并发数量曲线图,并可按照不同维度(用户/节点/资源池)进行统计。 实时会话列表:可以浏览到正在运行中的所有会话实时信息,支持全字段排序和查杀功能。单击列表右上方的设置按钮勾选需要在列表中展示的指标信息。 单击操作列“终止”按钮可终止单实时会话。 单击列表上方“终止会话”按钮可勾选多个会话并终止。 新增细粒度权限控制功能,只有配置了操作权限的用户才能使用终止会话按钮。只读权限用户登录后终止会话按钮为灰色。 实时数据汇总:按照不同维度(节点/用户/资源池)对实时会话数据进行汇总,显示统计活跃会话数、空闲会话数、CPU占用时间(s)、内存使用平均值(MB)、预估内存(MB)、下盘数据量(MB)。
-
历史查询分析 该页面分为三个模块,包含历史查询总趋势分析、SQL质量趋势分析、SQL运行时长趋势、SQL质量概览、历史TopSQL查询详情、历史TopSQL一键诊断(执行计划诊断和SQL语句诊断)、历史数据汇总。 图2 历史查询分析 历史查询总趋势:基于不同维度(集群/用户/实例/应用名称/资源池)的聚合统计。在指定时间范围内,可统计每分钟执行SQL数量。 SQL质量趋势:统计指定时间范围内,每类异常项的SQL数量。 SQL运行时长趋势:统计集群历史SQL执行时间(最小时长/平均时长/最大时长)。 SQL质量概览:提供各类异常SQL数量,单击卡片列表同步过滤。 异常项包括:执行计划不下推、CPU超过10万秒、Not in子查询、时长超过1小时、内存使用超过10GB、下盘超50G、Streaming数量超50。 针对不同集群可调整各类异常项的阈值,请联系技术支持人员设置。异常诊断规则基于GaussDB(DWS)集群历史TopSQL字段灵活配置。 历史查询详情:可以浏览运行过的所有查询历史信息,支持条件搜索和全字段排序功能。单击列表右上方的设置按钮勾选需要在列表中展示的指标信息。 查看详情:查看单历史TopSQL详情。单击单历史TopSQL所在行操作列的“查看详情”按钮,可查看查询语句的基本信息、在执行中的实时资源消耗、完整SQL语句以及查询计划。 一键诊断:对单历史TopSQL进行诊断。单击单历史TopSQL所在行操作列的“一键诊断”按钮,可以查看SQL语句的静态检查和执行计划诊断结果并可视化。 执行计划诊断:针对执行计划格式,对执行计划字符串进行解析,及对历史TopSQL表中执行计划进行诊断。提供可视化树形图,展示每个节点执行时长、type和扫描行数等信息。 异常诊断项包含:重分布异常、估算异常、计算倾斜、分区扫描异常、跨逻辑集群查询。 执行计划可视化想要显示每步执行时长,需设置参数“resource_track_level=perf”,否则无法查看。 图3 计划可视化 图4 计划诊断 SQL诊断:针对用户编写的SQL语句,结合GaussDB(DWS)SQL开发规范,对SQL语句进行静态检查,可分析出不符合规范的SQL,并给出修复意见。 SQL开发规范是结合GaussDB(DWS)使用情况制定的,仅具有参考价值,给出的规范还需要根据用户使用情况后续进行迭代,详情请参见GaussDB(DWS)总体开发设计规范。 图5 SQL诊断 数据汇总:按照不同维度(数据库/用户/资源池/应用名称/实例/uniqueSQLId)对历史TopSQL数据进行汇总,显示SQL数量和资源消耗情况。 单击“查看详情”按钮可查看指定对象具体资源消耗详情信息。
-
查看企业项目 在集群创建成功后,您可以在集群列表和集群详情页面查看集群关联的企业项目。用户只能查询到有访问权限的项目下的集群资源。 在集群管理页面的集群列表中,查看集群所属的企业项目。 图1 查看企业项目 在集群列表中,找到所需要的集群,然后单击集群名称,进入“集群详情”页面,可以查看与集群关联的企业项目。单击企业项目的名称,可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。 图2 查看集群的企业项目 同时,在企业管理的控制台上,查询指定项目中的资源列表时,也可以查询到GaussDB(DWS)服务的资源。
-
绑定企业项目 在GaussDB(DWS)中,用户可以在创建集群时为集群选择所属的企业项目,从而将GaussDB(DWS)集群与企业项目进行关联,详情请参见创建GaussDB(DWS)存算一体集群。在选择“企业项目”的下拉列表中,将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为集群选择企业项目,将使用缺省项目“default”。 注意,目前企业项目服务仍处于公测期间,仅允许有公测权限的用户设置企业项目,普通用户无法看到企业项目相关信息。 在集群创建过程中,如果集群与企业项目绑定成功,则集群创建成功,如果绑定失败,系统会发送告警,集群就会创建失败。 在为GaussDB(DWS)集群创建快照时,会同时保存集群与企业项目的关联关系,在恢复集群时,也会恢复企业项目的关联关系。 当删除GaussDB(DWS)集群时,GaussDB(DWS)集群与企业项目的关联关系就会被自动删除。
-
将集群迁入或迁出企业项目 一个GaussDB(DWS)集群只能关联一个企业项目。当集群创建成功后,可以在企业管理的控制台上,执行迁出操作,将GaussDB(DWS)集群从当前所属的企业项目中迁出到另一个企业项目中;或者执行迁入操作,在指定的企业项目中迁入另一个企业项目中的GaussDB(DWS)集群。迁入迁出后,GaussDB(DWS)集群与新的企业项目进行关联,GaussDB(DWS)集群与原企业项目的关联关系将被自动解除。 迁入的详细操作,请参考《企业管理用户指南》的为企业项目迁入资源。 迁出的详细操作,请参考《企业管理用户指南》的迁出企业项目资源。
-
概述 GaussDB(DWS)提供了使用 IAM 认证方式访问数据库的功能。当使用JDBC应用程序连接集群时,您可以在JDBC连接中配置IAM用户名及其用户凭证等信息,在连接数据库时系统就会自动生成临时数据库凭证,从而成功连接到数据库。 当前仅支持1.3.1及以上版本的集群及其配套的JDBC驱动程序使用IAM认证方式访问数据库。请先参考下载JDBC或ODBC驱动下载JDBC驱动程序。 IAM用户凭证有密码和访问密钥(Access Key ID和Secret Access Key,简称AK和SK)两种类型,您要为JDBC连接提供IAM访问密钥。 如需使用IAM用户凭证访问数据库,必须先给您的IAM用户授予DWS Database Access权限,同时拥有DWS Administrator和DWS Database Access权限的用户,才能基于IAM用户生成临时数据库用户凭证以连接GaussDB(DWS)数据库。 需要注意的是,DWS Database Access是用户组级别的权限,您可以通过为用户组授权并将用户加入到用户组的方式,使用户具有用户组中的权限。 在IAM中,只有admin用户组的用户可以管理用户。如需给IAM用户授权,您的IAM账号必须属于IAM的admin用户组,否则,请联系IAM账号管理员帮您授权。 使用IAM用户凭证访问数据库的流程如下: 授予IAM用户DWS Database Access权限 创建IAM用户凭证 配置JDBC连接使用IAM认证方式连接集群
-
创建IAM用户凭证 用户可以登录管理控制台创建访问密钥,如果您已经创建过了,也可以使用已有的访问密钥。 登录管理控制台。 将鼠标移到右上角的用户名,单击“我的凭证”。 再单击“管理访问密钥”页签,可以查看已有的访问密钥,也可以单击“新增访问密钥”进行创建。 访问密钥是IAM身份认证的重要凭证,只有在新增访问密钥时,用户才可以下载到含有Access Key ID(AK)和Secret Access Key(SK)的密钥文件,在管理控制台只能查看到Access Key ID,如果您未曾下载过该密钥文件,请联系您的管理员进行获取,或者重新创建。 每个用户最多可创建2个访问密钥,有效期为永久。为了账号安全性,建议您定期更换并妥善保存访问密钥。
-
告警解释 GaussDB(DWS)开启实时查询监控时,默认每60秒通过GS_WLM_SESSION_STATIS TICS 视图检测CN上正在执行作业的排队状态。 如果10分钟(可配置)内检测集群中处于排队等待状态的SQL语句数量超过10个(可配置),则上报查询语句堆积数量超阈值告警;当集群处于等待状态的SQL语句数量小于10时,自动消除该告警。 如果一直存在能够引发告警的查询语句堆积数量,那么在24小时(可配置)后将再次发起告警。
-
操作场景 集群粒度的快照和schema粒度的快照,可以指定快照备份集中的单表恢复到原集群。通常用户在业务操作中,对某个表中的数据进行了错误操作或者误删,需要对此表数据回滚到指定快照时,使用该功能。 如果当前控制台界面不支持该功能,请联系技术支持人员。 恢复单表到原集群的功能支持备份设备为OBS的快照。 该功能目前支持备份级别为“cluster”以及“schema”的快照。 集群状态和快照状态都为“可用”时,用户才可以进行单表恢复。 不支持状态为“只读”的集群进行单表恢复。 暂不支持细粒度恢复绝对表空间或相对表空间下的表。
-
告警解释 GaussDB(DWS)每30秒采集集群各节点的数据盘I/O利用率。如果某节点的某数据盘最近10分钟(可配置)内的平均使用率超过90%(可配置),则上报节点数据盘I/O利用率超阈值告警;如果平均使用率低于85%(即上报阈值减去5%),则消除告警。 如果节点数据盘I/O利用率一直大于上报阈值,那么在24小时(可配置)后将再次发起告警。 基于SSD盘存储的集群,在业务量增多的情况下,磁盘I/O可能会超过100%,但不代表磁盘存在性能瓶颈,需结合实际业务运行情况判断告警有效性。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格