检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在OpenSearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。
是完整自然日区分的。 前提条件 CSS集群处于可用状态。 使用OpenSearch集群。 通过索引生命周期管理实现自动滚动索引 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中,单击集群操作列的“Kibana”登录OpenSearch
配置Elasticsearch集群索引回收站 Elasticsearch集群在执行删除索引的操作时,会直接将索引删除,没有回收站的能力。为了防止客户误操作导致数据被删除,CSS提供了索引回收站功能,支持将删除的索引存放到回收站中,且支持从回收站中还原索引,进而提升集群的数据可靠性。
前提条件 已创建用于存储快照的OBS桶。快照存储在OBS桶中需要额外收费,具体收费请参见OBS计费说明。 设置自动创建快照 登录云搜索服务管理控制台。 开启集群自动创建快照。支持在创建集群的时候就打开集群自动创建快照,操作指导请参见7,或者在集群创建完成之后再开启集群自动创建快照。
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
桶必须和CSS服务的Elasticsearch集群在同一Region。 操作步骤 登录Elasticsearch所在的第三方友商云,创建一个支持s3协议的共享存储仓库,例如登录阿里云的进入OSS服务创建目录“patent-esbak”, 或者登录腾讯云进入COS服务创建目录“patent-esbak”。
使用DSL语言在Elasticsearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
API兼容的存储服务中,例如华为云的对象存储服务(OBS)。S3插件提供了一种高效、灵活且安全的方式来备份Elasticsearch集群的数据。 通过S3插件实现自建Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移,常用于以下场景: 服务迁移上云:将自建
arch和OpenSearch集群。 前提条件 CSS服务的Elasticsearch和OpenSearch集群处于可用状态。 已创建一个ECS服务,且和CSS服务的集群在同一个虚拟私有云和安全组中。 如果ECS和CSS服务的集群不在同一安全组中,请修改ECS安全组或者配置ECS
2、OpenSearch 1.3.6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划
Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时,导入数据的流程说明如图3所示。 图3 Logstash部署在弹性云服务器上时导入数据示意图 确保已部署Logstash的弹性云服务器与待导入数据的集群在同一虚拟私有云下,已开放安全组的92
集群和词库文件满足约束限制。 上传的OBS桶必须和集群在相同“区域”。上传文件至OBS桶的操作步骤请参见上传文件。 配置自定义词库 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在“集群管理”页面,单击需要配置自定义词库的集群名称,进入集群基本信息页面。
配置告警规则 登录云监控服务CES管理控制台。 左侧导航栏选择“告警 > 告警规则”,进入告警规则列表页面。 在告警规则列表,搜索“资源类型”为“云搜索服务”,查看是否有满足要求的告警规则。 如果没有,请参考云监控服务CES的创建告警规则和通知,新建CSS服务的告警规则。其中,关键
集群的整个请求情况。为了改进这一点,CSS服务新增了HTTP状态码监控功能,能够获取HTTP状态码统计信息。 Elasticsearch 7.6.2、Elasticsearch 7.10.2、 监控HTTP状态码 访问集群 登录云搜索服务管理控制台。 在“集群管理”页面,选择需要
Elasticsearch集群词库介绍 背景信息 云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
监控时间间隔内的索引每秒查询数量。 通过Kibana图表查看索引监控 为了方便查看索引的监控信息,CSS服务的索引监控预置了Kibana的Dashboard和Visualizations图表。 登录云搜索服务管理控制台。 在“集群管理”页面,选择已创建的集群,单击操作列“Kibana”,登录Kibana界面。
向量检索的客户端代码示例(Python) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装py
使用delete_by_query命令删除Elasticsearch集群数据后,为什么磁盘使用率反而增加? 使用delete_by_query命令删除数据并不是真正意义上的物理删除,它只是对数据增加了删除标记。当再次搜索时,会搜索全部数据后再过滤掉带有删除标记的数据。 因此,该索