检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Elasticsearch集群监控 使用CES监控Elasticsearch集群 配置Elasticsearch集群内核监控 配置Elasticsearch集群索引监控 父主题: Elasticsearch集群监控与日志管理
配置Elasticsearch集群向量检索 向量检索特性介绍 在Elasticsearch集群创建向量索引 在Elasticsearch集群使用向量索引搜索数据 在嵌套字段中使用向量索引 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java)
方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
创建和管理Elasticsearch索引策略 本文介绍如何创建和管理Elasticsearch集群的生命周期索引策略。 背景信息 Elasticsearch的ISM(Index State Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
CSS当前提供的主力引擎为ELasticsearch、Logstash、OpenSearch三大引擎,其中Elasticsearch和OpenSearch引擎作为数据存储引擎,需要重点关注版本生命周期。 目前CSS历史提供过的大版本如下,版本号与开源版本号保持一致。 Elasticsearch引擎:5.5
向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量的数据上做匹配,传统文
shards all indices es-head插件连接Elasticsearch集群报跨域错误 单节点集群打开Cerebro界面显示告警 ECS无法连接到集群
重启集群(已废弃) 功能介绍 此接口用于重启集群的数据节点,将导致业务中断。若要重启集群的全部节点,建议使用重启集群V2。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 调用方法 请参见如何调用API。 URI POST
电商促销季、节假日等,可提前购买包年/包月资源以应对高峰期的需求,避免资源紧张。 数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。 适用计费项 以下计费项支持包年/包月: 表1 适用计费项 计费项 说明 节点规格
方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
String 参数解释: 最近一次更新存放词库文件的OBS桶。 mainObj String 参数解释: 主词词库文件对象。 stopObj String 参数解释: 停词词库文件对象。 synonymObj String 参数解释: 同义词词库文件对象。 staticMainObj String
使用delete_by_query命令删除Elasticsearch集群数据后,为什么磁盘使用率反而增加? 使用delete_by_query命令删除数据并不是真正意义上的物理删除,它只是对数据增加了删除标记。当再次搜索时,会搜索全部数据后再过滤掉带有删除标记的数据。 因此,该索引所占的空间并不会因为执行磁盘
非法请求。 建议直接修改该请求,不要重试该请求。 403 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 错误码 请参见错误码。 父主题: 集群管理接口
CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建6天后,关
响应Body参数 参数 参数类型 描述 - File 文件流 请求示例 下载安全证书。 GET https://{Endpoint}/v1.0/{project_id}/cer/download 响应示例 状态码:200 请求已成功,返回文件流。 "Certificate:xxxx" SDK代码示例
CSS服务支持Kibana和Cerebro组件。 Kibana Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www
有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被Lucene用于缓存文件,因此节点内存占用会一直很高,平均已用内存比例达到98%是正常现象,请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JV
Elasticsearch集群内核支持的监控指标 表1 集群内核支持的监控指标 指标名称 描述 支持的集群版本 相关文档 search请求的P99时延 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,