检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Q索引类型。 测试方案:使用维度较高的COHERE与GIST数据集,测试在Top10召回率达到95%时的集群最大QPS,并与GRAPH索引对比常驻内存开销。 测试结果: 表3 GRAPH_PQ类索引测试结果 数据集 构建参数 查询参数 性能指标 内存开销 efc fragment_num
参数以指明要查询的嵌套路径,以及必须设置score_mode为max,表示文档的得分为该文档中所有向量与查询向量相似度的最大值。 标准查询 查询与向量[1, 1]最相似的Top10文档。 GET my_index/_search { "_source": {"excludes":
功能介绍 云搜索服务的向量检索引擎集成了暴力检索、图索引(HNSW)、乘积量化、IVF-HNSW等多种向量索引,支持欧式、内积、余弦、汉明等多种相似度计算方式,召回率和检索性能均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticse
功能介绍 云搜索服务的向量检索引擎集成了暴力检索、图索引(HNSW)、乘积量化、IVF-HNSW等多种向量索引,支持欧式、内积、余弦、汉明等多种相似度计算方式,召回率和检索性能均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticse
特征向量数据进行最近邻或近似近邻检索。 高效可靠:华为云向量检索引擎,提供优秀的搜索性能以及分布式容灾能力。 索引丰富:支持多种索引算法及相似度度量方式,满足各类应用场景及需求。 “0”学习成本:完全兼容开源ES语法与生态。 图4 向量检索场景
复合查询 向量检索支持与其他OpenSearch子查询组合进行复合查询,比如布尔查询方式。 布尔查询实际上是后置过滤查询方式。过滤条件与向量相似度检索分别独立执行,执行完成后对两者的检索结果进行合并,合并逻辑由must、should、filter等谓词决定。 例如,查询Top10条“
abel”的值为“red”的结果。 前置过滤查询:先执行过滤条件检索,筛选出符合条件的结果;然后,对这些筛选后的候选结果进行向量相似度检索,以找出最相似的向量。 查询示例如下: POST my_index/_search { "size": 10, "query": {
产品优势 云搜索服务主要有以下特点与显著优势: 高效易用 TB级数据毫秒级返回检索结果,提供可视化平台方便数据展示和分析。 弹性灵活 按需申请,在线扩容,零业务中断,快速应对业务增长。 无忧运维 全托管服务,开箱即用,主要操作一键可达,专业团队贴身看护。 内核增强 向量检索 云搜索服务
什么是云搜索服务 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合,为
// 向量维度 " \"metric\": \"euclidean\",\n" + // 相似度度量 " \"algorithm\": \"GRAPH\"\n" + // 索引算法
// 向量索引 " \"metric\": \"euclidean\"," + // 相似度度量 " \"algorithm\": \"GRAPH\"" + // 索引算法
一个名为“my_vector”的向量字段和一个名为“my_label”的文本字段。其中,向量字段创建了GRAPH图索引,并使用欧式距离作为相似度度量。 PUT my_index { "settings": { "index": { "vector": true
DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库 使用DRS从数据库导入数据至OpenSearch 使用DRS从数据库导入数据至OpenSearch 数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库在线迁移和数据
如果您有多个到期日不同的集群,可以将到期日统一设置到一个日期,便于日常管理和续费。 图1展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图1 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
图1 查看监控信息 选择“资源实例”页签,查看集群的监控指标。 资源实例:选择要查看监控信息的集群,默认选择当前集群。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上
图1 查看监控信息 选择“资源实例”页签,查看集群的监控指标。 资源实例:选择要查看监控信息的集群,默认选择当前集群。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上
acle数据库中,推荐使用CDM比较方便。 JSON 使用CDM导入数据到Elasticsearch 数据复制服务DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库 使用DRS从数据库导入数据至Elasticsearch 使用DRS从数据库导入数据至Elasticsearch
} } } 聚簇键必须是排序键的前缀子集。 高基字段必须在排序键中,且高基字段必须在最后一个低基字段后面。 性能测试对比 测试环境 数据集: esrally nyc_taxis数据集 集群规格: 4U16G 100GB高IO * 3节点 测试步骤 在集群中创建索引模板,指定排序键和关闭聚合增强。
ment和shard都会对数据有膨胀,不同集群的segment的shard不同,数据量也不同,如果需要比较数据一致性,则需要对比文档个数的多少,而不是对比数据大小。 父主题: Elasticsearch数据迁移
图1 查看监控信息 选择“资源实例”页签,查看集群的监控指标。 资源实例:选择要查看监控信息的集群,默认选择当前集群。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上