检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内存管理的目的:防止数据库系统占用内存过高导致内存溢出(OOM)和实现资源池之间的内存隔离和限制。
数据仓库规格 GaussDB(DWS)的规格按照产品类型分为存算一体(DWS 2.0)和存算分离(DWS 3.0)。其中存算一体(DWS 2.0)还包含单机版模式。各产品类型的不同差异,详情请参见数据仓库类型。 低配置集群,如内存16G、vCPU4核及以下的规格,建议不要用于生产环境
表倾斜率 背景信息 不合理的分布列选择,将引发算子计算/数据下盘倾斜严重,导致不同DN的处理压力不同,影响业务性能,并容易造成单DN磁盘使用率过高。
监控资源利用率,评估当前配置是否过高。例如:CPU、内存、云硬盘、带宽等资源的利用率。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。 针对长期稳定的成熟业务,使用包年/包月计费模式。
集群性能 锁等待检测 执行SQL时出现表死锁,提示LOCK_WAIT_TIMEOUT锁等待超时 执行SQL时报错:abort transaction due to concurrent update 磁盘使用率高&集群只读处理方案 SQL执行很慢,性能低,有时长时间运行未结束 数据倾斜导致
如果并发过高,避免需要记录的查询数量超过query级别视图和算子级别视图的值,可以通过参数session_history_memory修改历史查询视图的内存,内存增大和查询数量成正比。 父主题: GaussDB(DWS)资源监控
基本概念 GaussDB(DWS)的管理概念 集群 表示由多个节点组成的服务器群组。GaussDB(DWS)以集群为单位进行组织,一个GaussDB(DWS)集群由多个在相同子网中的相同规格的节点组成,共同提供服务。 节点 每个GaussDB(DWS)集群部署节点取值范围为3~256
GaussDB(DWS)在CPU核数、内存相同的情况下,小规格多节点与大规格三节点集群如何选择? 小规格多节点: 如果数据量不大、集群节点数量需要伸缩,但不能忍受太高的成本,可以选择小规格多节点集权。 例如,规格为8核32G的小规格集群(dwsx2.h.2xlarge.4.c6),
创建GaussDB(DWS)存算一体2.0集群 如果用户需要在华为云环境中使用GaussDB(DWS),首先要创建一个数据仓库集群。创建数据仓库集群时默认采用包年/包月付费方式,相比按需付费方式更优惠,用户可根据业务需要,定制相应计算能力和存储空间的GaussDB(DWS)集群。用户也可以采用按需付费方式
在Cloud Eye查看GaussDB(DWS)集群监控 功能说明 用户需要查看集群的监控指标信息时,可以通过云监控(Cloud Eye)确认集群各项指标情况。通过监控集群运行时的各项指标,用户可以识别出数据库集群状态异常的时间段,然后在数据库日志中,分析可能存在问题的活动,从而优化数据库性能
如果并发过高,避免需要记录的查询数量超过query级别视图和算子级别视图的值,可以通过参数session_history_memory修改历史查询视图的内存,内存增大和查询数量成正比。 父主题: 资源监控
如果并发过高,避免需要记录的查询数量超过query级别视图和算子级别视图的值,可以通过参数session_history_memory修改历史查询视图的内存,内存增大和查询数量成正比。 父主题: GaussDB(DWS)资源监控
调优前:学习表结构设计 在本实践中,您将学习如何优化表的设计。您首先不指定存储方式,分布键、分布方式和压缩方式创建表,然后为这些表加载测试数据并测试系统性能。接下来,您将应用调优表实践以使用新的存储方式、分布键、分布方式和压缩方式重新创建这些表,并再次为这些表加载测试数据和测试系统性能
可能出现部分节点CPU过高等问题。 分析过程 登录GaussDB(DWS)管理控制台。在“集群管理”页面,找到需要查看监控的集群。在指定集群所在行的“操作”列,单击“监控面板”。选择“监控 > 节点监控 > 磁盘”,查看磁盘使用率。 各个数据磁盘的利用率,会有不均衡的现象。
(该参数仅8.2.0及以上集群版本支持) 语句在CN节点上会计算出估算内存,用该值来预占内存资源,语句内存过高估算场景时,语句预占内存资源过大,会引发后续作业排队,导致系统资源利用率下降,内存负反馈机制,会基于DN上的实际使用内存情况,判断如果集群连续一段时间处于高估场景时,会由CCN
(该参数仅8.2.0及以上集群版本支持) 语句在CN节点上会计算出估算内存,用该值来预占内存资源,语句内存过高估算场景时,语句预占内存资源过大,会引发后续作业排队,导致系统资源利用率下降,内存负反馈机制,会基于DN上的实际使用内存情况,判断如果集群连续一段时间处于高估场景时,会由CCN
默认值:0.05 * max_process_memory FencedUDFMemoryLimit 参数说明:控制每个fenced udf worker进程使用的虚拟内存。 参数类型:USERSET 设置建议:不建议设置此参数,可用udf_memory_limit代替。
注意 管理员用户权限过高,难以管控。 3 不建议业务直连单CN,需配置负载均衡保证各CN连接均衡。 警告 CN上连接不均、负载倾斜拖慢整体性能、CN故障时业务无法自恢复。 4 连接数据库完成所需操作后,要及时关闭数据库连接,避免空闲连接持续占位,消耗连接和公共资源。
注意 管理员用户权限过高,难以管控。 3 不建议业务直连单CN,需配置负载均衡保证各CN连接均衡。 警告 CN上连接不均、负载倾斜拖慢整体性能、CN故障时业务无法自恢复。 4 连接数据库完成所需操作后,要及时关闭数据库连接,避免空闲连接持续占位,消耗连接和公共资源。
PGXC_RESPOOL_RESOURCE_INFO PGXC_RESPOOL_RESOURCE_INFO视图显示所有实例上资源池实时监控信息。 DN上仅显示当前DN所属逻辑集群的资源池监控信息。 从8.2.0集群版本开始,新增了内存负反馈机制功能,CCN节点会根据DN节点的实际内存使用情况辅助反向调节语句的估算内存统计值