检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群最大堆内存持续过高(超过90%) 问题描述 关于Elasticsearch集群的最大堆内存持续超过90%的问题。其中如果节点在90%堆内存上下波动,有增有减,则无异常;持续高内存时,集群存在一定的风险。 原因分析 排查集群的写入和查询队列,查看是否有大量任务堆积。
ECS服务器部署Logstash推送数据到CSS服务报错 问题现象 ECS服务器部署logstash,然后推送数据到云搜索服务CSS,出现错误信息如下: LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError:
CSS集群平均已用内存比例达到98%怎么办? 问题现象 查看集群监控发现,Elasticsearch集群“平均已用内存比例”一直处于98%,用户担心内存比例过高是否对集群有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被Lu
本文主要介绍CSS集群的节点数量和配额限制,在使用云搜索服务的过程中,不同功能的限制请参见用户指南的相关章节。 集群的节点数量限制 下表显示了云搜索服务的集群节点数量的限制。 表1 Elasticsearch和OpenSearch集群的节点限制 集群的节点数量 限制 每个集群的最大节点数量
Elasticsearch向量检索的性能测试和比较 应用场景 云搜索服务的向量检索引擎提供了全托管、高性能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。
6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建
6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建
max_result_window":"1000000" } “localhost”是Elasticsearch集群的访问地址。 该配置会相应的消耗内存与CPU,请谨慎设置。 父主题: CSS集群搜索引擎使用
计费项 云搜索服务的计费项由规格费用、存储费用和公网带宽费用组成。具体内容如表1所示。 标 * 的计费项为必选计费项。 表1 云搜索服务计费项 计费项 计费项说明 适用的计费模式 计费公式 * 节点规格 计费因子:vCPUs和内存,不同规格的集群类型提供不同的计算和存储能力。 包年/包月、按需计费
到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。 预加载向量索引 PUT /_vector/warmup/{index_name} 使用上述接口能将指定index_name的向量索引预加载至堆外内存供查询使用。
到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。 预加载向量索引 PUT /_vector/warmup/{index_name} 使用上述接口能将指定index_name的向量索引预加载至堆外内存供查询使用。
变更计费模式概述 在购买集群后,如果发现当前计费模式无法满足业务需求,您可以变更计费模式。支持变更计费模式的计费项如表6-1所示。 表1 支持变更计费模式的计费项 计费项 变更说明 相关文档 节点规格 变更集群的计费模式会同时变更计算资源(vCPUs和内存)存储、公网带宽的计费模式。
收,按堆内存的空闲量继续读取请求。 开启内存流控 请求采样统计 可以记录客户端IP的访问和客户端的请求类型,用户可以基于统计值识别客户端IP的访问流量,分析当前客户端的写入和查询访问量。 开启请求采样统计 一键断流 可以切断节点的所有客户端连接,不包括Kibana访问和CSS后台
清理segment 每个segment的FST结构都会被加载到内存中,并且这些内存是不会被垃圾回收的。因此如果索引的segment数量过大,会导致内存使用率较高,建议定期进行清理。 在Kibana执行如下命令,查看各节点的segment数量和占用内存大小。 GET /_cat/nodes
通过Go客户端接入Elasticsearch集群 本文介绍通过Go语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Go代码的服务器与CSS集群的网络是互通的。 确认服务器已安装Go,Go官网下载地址:https://go.dev/dl/。 连接非安全集群
中已运行时间最长的一条查询任务进行中断。 fair策略是综合考虑内存和时间两种因素,如果分片查询的堆内存申请大小相差不超过“最大堆内存乘search.isolator.strategy.ratio”的大小,则认为时间较长的查询更应该中断。否则认为堆内存使用较大的查询更应该中断。 默认值:fair
Dashboards如何对接CSS服务的OpenSearch集群? 约束限制 只有OSS版本的OpenSearch Dashboards镜像支持对接CSS服务的OpenSearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。
自建Kibana如何对接CSS服务的Elasticsearch集群? 约束限制 只有OSS版本的Kibana镜像支持对接CSS服务的Elasticsearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。
从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。 前提条件 创建配置文件前,必须先获取数据源和目的端的服务器或
32:9200”;当集群有多个节点时,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9200,10.62.179.33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下数据保存为json格式的文件,上传到ECS。