检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Elasticsearch集群自定义词库 Elasticsearch集群词库介绍 配置和使用Elasticsearch集群的自定义词库 父主题: 管理Elasticsearch集群
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构
可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。 约束限制 仅Elasticsearch 7.10.2版本的集群支持在嵌套字段中使用向量索引。 创建向量索引 创建一个带有嵌套字段的向量索引,该索引包含一个id
用于缓存文件,因此节点内存占用会一直很高,平均已用内存比例达到98%是正常现象,请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JVM堆使用率”这两个指标来监控集群内存使用情况。 父主题: CSS集群监控与运维
Elasticsearch集群某一节点分配不到shard 解决方案 使用GET _cluster/allocation/explain?pretty 查看未分配shard。 在console上,选择“cerebro > more > cluster settings ”-,在左上角输入“allocation
配置Elasticsearch集群监控 使用CES监控Elasticsearch集群 配置Elasticsearch集群内核监控 配置Elasticsearch集群索引监控 父主题: Elasticsearch集群监控与日志管理
表1 标准查询的参数说明 参数 说明 vector(第一个) 表示该查询类型为VectorQuery。 my_vector 指定了需要查询的向量字段名称。 vector(第二个) 指定查询向量的具体值,支持数组形式以及Base64编码形式的输入。 topk topk的值通常与size保持一致。
副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads”的值(默认为4),增加向量索引构建的线程数。 PUT
表1 标准查询的参数说明 参数 说明 vector(第一个) 表示该查询类型为VectorQuery。 my_vector 指定了需要查询的向量字段名称。 vector(第二个) 指定查询向量的具体值,支持数组形式以及Base64编码形式的输入。 topk topk的值通常与size保持一致。
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
使用delete_by_query命令删除数据并不是真正意义上的物理删除,它只是对数据增加了删除标记。当再次搜索时,会搜索全部数据后再过滤掉带有删除标记的数据。 因此,该索引所占的空间并不会因为执行磁盘删除命令后马上释放掉,只有等到下一次段合并时才真正的被物理删除,这个时候磁盘空间才会释放。 相反
副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads”的值(默认为4),增加向量索引构建的线程数。 PUT