检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向量检索支持漏斗模型,先对所有向量进行量化和近似计算,筛选出一定量接近检索目标的数据集,然后基于筛选的数据集进行精细的计算和排序。本方法不需要对所有向量都进行复杂的计算,可以有效提高检索效率。 向量检索即在一个给定的向量数据集中,按照某种度量方式,检索出与查询向量相近的K个向量(K-Nearest
选择一种方式定义监控,推荐使用“Extraction query editor”。 Visual editor:可视化的query语句 Extraction query editor:具体的query语句 Anomaly detector:异常检测插件的监测 选择不同的“Monitor type”,所支持的监控方式不同,请以实际界面为准。
制策略1.0 大查询隔离 大查询隔离支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。在节点堆内存使用率过高时,触发中断控制程序,根据选择的中断策略将其中一条大查询请求进行中断,取消其正在运行的查询任务。大查询隔离同时支持全局查询超时配置,用户可实
start 否 Integer 参数解释: 指定查询起始值,默认值为1,即从第1个任务开始查询。 约束限制: 不涉及 取值范围: 1-1000 默认取值: 1 limit 否 Integer 参数解释: 指定查询个数,默认值为10,即一次查询10个任务信息。 约束限制: 不涉及 取值范围:
指定节点缩容 功能介绍 该接口可以对集群现有节点中指定节点进行缩容。包周期类型的集群不支持通过api进行指定节点缩容操作。 在缩容前,建议备份所有关键数据,以免造成数据丢失。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/
enabled": false } } 查看流量控制信息 查看所有节点的流量控制情况 GET /_nodes/stats/filter/v2 查看所有节点的流量控制详细情况 GET /_nodes/stats/filter/v2?detail 查看某个具体节点的流量控制情况 GET
ess-client:Client节点。 ess-cold:冷数据节点。 前提条件 集群处于“可用”状态,且无正在进行的任务。 在缩容前,建议备份所有关键数据,以免造成数据丢失。 缩容随机节点 登录云搜索服务管理控制台。 在左侧菜单栏,选择对应的集群类型,进入集群管理页面。 选择目标集群
单个节点的快照速度默认是40MB/s,同时,快照的性能还受集群情况影响,如果此时集群负载较高,耗时将会更久。可以通过上述章节的查询单个快照信息查询正在执行的快照情况。 执行GET _snapshot/repo_auto/snapshot-name,可以看到剩余还需要完成的sh
”特殊字符,多个索引之间使用英文逗号隔开。如果不填写,则默认备份集群中所有索引。支持使用“*”匹配多个索引,例如“index*”,表示备份名称前缀是index的所有索引的数据。 说明: 在Kibana中使用GET /_cat/indices命令,可以查询集群中所有索引的名称。 图1 自动创建快照 确定要设置
”特殊字符,多个索引之间使用英文逗号隔开。如果不填写,则默认备份集群中所有索引。支持使用“*”匹配多个索引,例如“index*”,表示备份名称前缀是index的所有索引的数据。 说明: 在Kibana中使用GET /_cat/indices命令,可以查询集群中所有索引的名称。 图1 自动创建快照 确定要设置
SearchLatency 平均查询延迟 分片完成搜索操作所需的平均时间。 单位:ms。 ≥ 0 ms SearchRate 平均查询速率 查询QPS,集群每秒平均查询操作数。 ≥ 0 task_max_running_time 最大Task运行时长 该指标为集群运行的所有查询、写入Task中,运行时长最长的task耗时。
enabled": false } } 查看流量控制信息 查看所有节点的流量控制情况 GET /_nodes/stats/filter 查看某个具体节点的流量控制情况 GET /_nodes/{nodeId}/stats/filter “{nodeId}”为需要查看流量控制的节点ID。 响应示例:
H”和“IVF_GRAPH_PQ”适用于超大规模场景。这两种算法需要通过对子空间的切割缩小查询范围,子空间的划分通常采用聚类或者随机采样的方式。在预构建之前,需要通过聚类或者随机采样得到所有的中心点向量。通过预构建和注册将中心点向量预构建成GRAPH或者GRAPH_PQ索引,同时
index”:值越大,shard分配越倾向于使得每个索引的所有分片在节点上均匀分布,如a索引共有6个shards,数据节点有3个,该配置值倾向于让a索引2、2、2平衡分配。 “balance.shard”:值越大,shard分配越倾向于使得所有分片(所有索引的)在节点上平衡,如索引a有2个sha
变更规格 功能介绍 该接口用于变更集群规格。只支持变更ess节点类型。 在变更磁盘类型前,建议备份所有关键数据,以免造成数据丢失。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/flavor 表1
用离线构建API,则索引无法正常执行VectorQuery标准查询,该查询请求将会返回错误码500,错误信息中包含“Load native index failed exception”。此时,建议先执行离线构建再查询。 父主题: 配置Elasticsearch集群向量检索
群状态的操作。具体来说,拥有cluster_monitor权限的用户可以执行以下操作: 查看集群的健康状态和状态信息。 查看集群的节点信息。 查看集群的统计信息。 查看集群的待处理任务。 查看集群的恢复、段信息、索引统计信息和状态。 图4 Cluster Permissions页面
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
功能介绍 该接口用于集群对不同类型实例的个数以及存储容量进行缩容。包周期类型的集群不支持通过api进行指定节点类型缩容操作。 在缩容前,建议备份所有关键数据,以免造成数据丢失。 调用方法 请参见如何调用API。 URI POST /v1.0/extend/{project_id}/cl
Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10.2举例。 <dependency>