检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群最大堆内存持续过高(超过90%) 问题描述 关于Elasticsearch集群的最大堆内存持续超过90%的问题。其中如果节点在90%堆内存上下波动,有增有减,则无异常;持续高内存时,集群存在一定的风险。 原因分析 排查集群的写入和查询队列,查看是否有大量任务堆积。
CSS集群平均已用内存比例达到98%怎么办? 问题现象 查看集群监控发现,Elasticsearch集群“平均已用内存比例”一直处于98%,用户担心内存比例过高是否对集群有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被Lu
频繁GC导致OOM 原因分析 集群负载过高,可能是有大量查询或写入任务堆积。当堆内存不足时,任务无法分配,将频繁触发GC,导致Elasticsearch进程异常退出。 处理步骤 如果集群长期处于高负载状态,则集群会存在写入、查询缓慢等情形,建议根据业务需要升级节点规格或者对集群节点的数量和存储
CSS集群冻结索引后如何查询OBS上的索引占用量? CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引。
进行聚合和排序时,会使用fielddata数据结构,会占用较大内存。 在Kibana执行如下命令,查询fielddata缓存情况。 GET /_cat/nodes?v&h=name,fielddataMemory 当fielddata占用内存过高时,可以执行如下命令清理指定索引的fielddata
使用SQL语言在Elasticsearch中搜索数据 在Elasticsearch集群 6.5.4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言
使用SQL语言在OpenSearch中搜索数据 在OpenSearch版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,可以使用SQL语言在OpenSearch中搜索数据。
制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。 预加载向量索引 PUT /_vector/warmup/{index_name} 使用上述接口能将指定index_name的向量索引预加载至堆外内存供查询使用。 清除缓存 PUT /_vector/clear/cache
制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。 预加载向量索引 PUT /_vector/warmup/{index_name} 使用上述接口能将指定index_name的向量索引预加载至堆外内存供查询使用。 清除缓存 PUT /_vector/clear/cache
String 节点堆内存的阈值,限制节点全局堆内存的使用率,超过此值将进行流量反压。 取值范围:10%-100% 默认值:90% 说明: 默认值90%是一个比较保守的阈值,即堆内存大于90%使用量时会停止读取客户端超过64KB的大请求,直至堆内存下降。如堆内存下降到85%,会开始
配置Elasticsearch集群大查询隔离 场景描述 大查询隔离支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。在节点堆内存使用率过高时,触发中断控制程序,根据选择的中断策略将其中一条大查询请求进行中断,取消其正在运行的查询任务。大查询隔离同时
开启HTTP/HTTPS节点流控 内存流控 基于节点堆内存使用量限制请求Path,支持设置内存流控白名单、全局内存使用阈值和基于单个Path设置堆内存使用阈值。全局内存流控阈值优先于单个Path内存阈值,白名单配置Path不参与内存流控。 开启内存流控 Path全局免流控白名单 可
Elasticsearch中的_id字段必须与MySQL中的id字段相同。 这是为了确保当MySQL中的记录写入Elasticsearch时,同步任务可在MySQL记录与Elasticsearch索引之间建立一个直接映射的关系。例如,当MySQL中更新了某条记录时,同步任务会覆盖Elas
变更规格 功能介绍 该接口用于变更集群规格。只支持变更ess节点类型。 在变更磁盘类型前,建议备份所有关键数据,以免造成数据丢失。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/flavor 表1
向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建与查询均使用堆外内存,所以集群容量
向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建与查询均使用堆外内存,所以集群容量
志、舆情场景等场景。一般冷节点优选这种规格。 通用计算型 1:4 默认规格,使用较频繁,各种场景都能使用,如果没有特别要求,可选择该规格。 内存优化型 1:8 内存较大,优势较明显,在内存使用量较多并且对时延没有太大要求的场景可优先选择该规格,比如多聚合(filedata堆内)、
手动创建快照再变更规格。 选择目标集群,单击操作列的“更多>形态变更”进入形态变更页面。 选择“更改集群规格”页签。 在更改集群规格页面,设置变更规格的参数。 表2 变更规格 参数 说明 变更类型 选择“变更规格”。 变更的资源 显示本次变更规格的资源变化量。 变更的角色 先在“
手动创建快照再变更规格。 选择目标集群,单击操作列的“更多>形态变更”进入形态变更页面。 选择“更改集群规格”页签。 在更改集群规格页面,设置变更规格的参数。 表2 变更规格 参数 说明 变更类型 选择“变更规格”。 变更的资源 显示本次变更规格的资源变化量。 变更的角色 先在“
变更计费模式概述 在购买集群后,如果发现当前计费模式无法满足业务需求,您可以变更计费模式。支持变更计费模式的计费项如表6-1所示。 表1 支持变更计费模式的计费项 计费项 变更说明 相关文档 节点规格 变更集群的计费模式会同时变更计算资源(vCPUs和内存)存储、公网带宽的计费模式。