检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例资源监控 GaussDB(DWS)提供了监控CN、DN实例资源使用状态(包括内存,CPU,磁盘IO,进程物理IO和进程逻辑IO)的系统表及监控整个集群资源使用状态的系统表。 关于系统表GS_WLM_INSTANCE_HISTORY的详细介绍,请参考GS_WLM_INSTANCE_HISTORY。
实例资源监控 GaussDB(DWS)提供了监控CN、DN实例资源使用状态(包括内存,CPU,磁盘IO,进程物理IO和进程逻辑IO)的系统表及监控整个集群资源使用状态的系统表。 关于系统表GS_WLM_INSTANCE_HISTORY的详细介绍,请参考GS_WLM_INSTANCE_HISTORY。
案例:设置cost_param对查询性能优化 cost_param参数用于控制在特定的客户场景中,使用不同的估算方法使得估算值与真实值更接近。此参数可以同时控制多种方法,与某一方法对应的位做与操作,不为0表示该方法被选择。 场景一:优化前 cost_param的bit0(set
峰和业务拆分。 动态内存使用率 80%以下 当业务流量突增或复杂灵活查询执行时,会有内存不足报错的风险。 配置异常规则和内存熔断;对高内存业务进行优化整改;参考实时查询和监控并诊断GaussDB(DWS)集群TopSQL进行业务优化。 降内存方法可参见降低内存的处理方案。 90%
集群的设置值,当旧值小时取旧值。 支持实时减少线程池中stream线程的个数;若增大该参数值,stream线程的个数由业务驱动向上增长。 通常情况下不建议调整该参数值,因为stream线程池有自动清理功能。 如果stream空闲线程过多造成内存占用,可以调小此值以节约内存。 en
is too long(>=%dbytes)" SQLSTATE: 42602 错误原因:内存上下文的名字超出了限定值MEMORY_CONTEXT_NAME_LEN。 解决办法:由用户确认内存上下文的合法性。 GAUSS-04295:"Fail to send signal to backend(tid:%lu)
的资源池,用户SQL查询时将根据“用户-资源池”的关联关系将查询转至资源池中执行。通过指定资源池上可并行运行的查询数、单查询内存上限以及资源池可使用的内存和CPU资源,从而实现对不同业务之间的资源限制和隔离,满足数据库混合负载需求。 GaussDB(DWS)主要利用cgroup(control
temporarily unavailable" SQLSTATE: 53200 错误原因:集群负载太高导致内存不足,申请内存时,无法满足需求,则报该错误。 解决办法:确定内存占用较高的节点,排查业务,找到不下推的语法或函数,或降低客户端并发度。 父主题: GAUSS-04301 --
3及以上集群版本支持。 - 内存资源(%) 资源池所占用的内存百分比。 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 0(不限制) 存储资源(MB) 可使用的永久表空间大小。 该值是资源池下所有DN的表空间总值,单DN节点可用空间=设置值 / DN节点数。
Long 已使用内存(单位:KB)。 memused_ratio Float 内存使用率。 kbbuffers Long buffer内存(单位:KB)。 kbcached Long cached内存(单位:KB)。 kbcommit Long workload内存KBRAM/SWAP。
key,在导入时会增加排序计算,会对导入性能产生影响。当排序完全在内存中进行时影响较小,如果无法在内存中完成排序时,会下盘写临时文件,这时就会产生较大的影响。 排序使用的内存通过GUC参数psort_work_mem来设置,可以设置较大的值来使用更大的内存进行排序。 排序的数据量是通过表的存储参数PA
息计算,无需组织成tuple再传递。 内存自适应 可配置为内存不足时自动转为使用临时表采样。动态采样为防止查询触发建临时表,不会自适应。 通过GUC参数analyze_stats_mode设置。 内存的大小 控制ANALYZE时最大使用内存,超过后或下盘或自动减少样本。 通过GU
printStackTrace(); } } } 示例2 客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。
estimate_memory integer 语句预估使用内存,单位为MB。 min_peak_memory integer 语句在所有DN上的最小内存峰值,单位为MB。 max_peak_memory integer 语句在所有DN上的最大内存峰值,单位为MB。 average_peak_memory
Parallel组件,设置任务并发执行,如下图所示。 图21 设置并发 设置成功后,Start组件和Transformation组件之间会多一个双斜杠,如下图所示。 图22 设置并发成功 单击Run,开始并发执行转换任务。 图23 执行并发Run 步骤五:优化迁移作业 配置Kettle内存。 为
key,在导入时会增加排序计算,会对导入性能产生影响。当排序完全在内存中进行时影响较小,如果无法在内存中完成排序时,会下盘写临时文件,这时就会产生较大的影响。 排序使用的内存通过GUC参数psort_work_mem来设置,可以设置较大的值来使用更大的内存进行排序。 排序的数据量是通过表的存储参数PA
printStackTrace(); } } } 示例2 客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。
“基本信息”模块查看指定集群的节点规格。 根据节点规格在表格中查找对应的集群架构。规格说明如下所示: 表1 规格说明 节点规格 vCPU核数 内存大小(GB) 架构 规格类型 dws2.olap.4xlarge.m6 16 128 X86 ECS/存算分离EVS dws2.olap
estimate_memory integer 语句预估使用内存,单位为MB。 min_peak_memory integer 语句在所有DN上的最小内存峰值,单位为MB。 max_peak_memory integer 语句在所有DN上的最大内存峰值,单位为MB。 average_peak_memory
U、IO和内存使用情况,不再受限于仅监控慢车道作业。 当前快车道作业内存和CPU不受控,在快车道运行作业占用资源较多情况下,可能出现已用资源大于资源限制的情况。 DN监控视图中,IO、内存和CPU显示的是本DN上资源池资源使用和资源限制信息。 CN监控视图中,IO、内存和CPU显