云搜索服务 CSS-在OpenSearch集群创建向量索引:创建向量索引

时间：2024-12-19 10:11:10

创建向量索引

登录云搜索服务管理控制台。
在“集群管理”页面，选择需要启用向量检索的集群，单击操作列“Kibana”，登录Kibana界面。

单击左侧导航栏的“Dev Tools”，执行如下命令创建向量索引。

创建一个名为“my_index”的索引，该索引包含一个名为“my_vector”的向量字段和一个名为“my_label”的文本字段。其中，向量字段创建了GRAPH图索引，并使用欧式距离作为相似度度量。

PUT my_index 
{
  "settings": {
    "index": {
      "vector": true
    }
  },
  "mappings": {
    "properties": {
      "my_vector": {
        "type": "vector",
        "dimension": 2,
        "indexing": true,
        "algorithm": "GRAPH",
        "metric": "euclidean"
      },
      "my_label": {
        "type": "keyword"
      }
    }
  }
}

表3 创建索引参数说明
类型	参数	说明
Index settings参数	vector	当需要使用向量索引加速时，需要设置该值为true。
Field mappings参数	type	字段类型，“vector”表示该字段为向量字段。
	dimension	向量数据维度。取值范围：[1, 4096]。
	indexing	是否开启向量索引加速。可选值： false：表示关闭向量索引加速，向量数据仅写入docvalues，只支持使用ScriptScore以及Rescore进行向量查询。 true：表示开启向量索引加速，系统将创建额外的向量索引，索引算法由"algorithm"字段指定，写入数据后可以使用VectorQuery进行查询。默认值：false。
	algorithm	索引算法。仅当“indexing”为“true”时生效。可选值： FLAT：暴力计算，目标向量依次和所有向量进行距离计算，此方法计算量大，召回率100%。适用于对召回准确率要求极高的场景。 GRAPH：图索引，内嵌深度优化的HNSW算法，主要应用在对性能和精度均有较高要求且单shard中文档数量在千万个以内的场景。 GRAPH_PQ：将HNSW算法与PQ算法进行了结合，通过PQ降低原始向量的存储开销，能够使HNSW轻松支撑上亿规模的检索场景。 IVF_GRAPH：算法将IVF与HNSW结合，对全量空间进行划分，每一个聚类中心向量代表了一个子空间，极大地提升检索效率，同时会带来微小的检索精度损失。适用于数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ：PQ算法与IVF-HNSW的结合，PQ可以通过配置选择与HNSW结合和IVF结合，进一步提升系统的容量并降低系统开销，适用于shard中文档数量在十亿级别以上同时对检索性能要求较高的场景。默认值：GRAPH。说明：当选择IVF_GRAPH或者IVF_GRAPH_PQ索引时，需要额外进行预构建中心点索引以及注册等步骤，具体内容请参考（可选）预构建与注册中心点向量。
	其他可选参数	当使用向量索引加速时（即“indexing”为“true”时），为了获得更高的查询性能以及查询精度， CSS 提供了与向量索引相关的可选参数配置，参数说明请参见表4。
	metric	计算向量之间距离的度量方式。可选值： euclidean：欧式距离。 inner_product：内积距离。 cosine：余弦距离。 hamming：汉明距离，仅支持设置"dim_type"为"binary"时使用。默认值：euclidean。
	dim_type	向量维度值的类型。可选值：binary、float（默认）。

表4 可选参数说明
类型	参数	说明
GRAPH类索引配置参数	neighbors	图索引中每个向量的邻居数，默认值为64，值越大查询精度越高。索引越大，构建速度以及后续的查询速度也会变慢。取值范围：[10, 255]。
	shrink	构建hnsw时的裁边系数，默认值1.0f。取值范围：(0.1, 10)。
	scaling	构建hnsw时上层图节点数的缩放比例，默认值50。取值范围：(0, 128]。
	efc	构建hnsw时考察邻居节点的队列大小，默认值为200，值越大精度越高，构建速度将会变慢。取值范围：(0, 100000]。
	max_scan_num	扫描节点上限，默认值为10000，值越大精度越高，索引速度变慢。取值范围：(0, 1000000]。
PQ类索引配置参数	centroid_num	每一段的聚类中心点数目，默认值为255。取值范围：(0, 65535]。
PQ类索引配置参数	fragment_num	段数，默认值为0，插件自动根据向量长度设置合适的段数。取值范围：[0, 4096]。