检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能介绍 云搜索服务的向量检索引擎集成了暴力检索、图索引(HNSW)、乘积量化、IVF-HNSW等多种向量索引,支持欧式、内积、余弦、汉明等多种相似度计算方式,召回率和检索性能均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。
相比共享型负载均衡器,独享型负载均衡器功能更丰富、性能更强,本章主要介绍如何配置集群的独享型负载均衡。 场景描述 使用独享型负载均衡器接入集群具有如下优点: 非安全模式集群也支持集成弹性负载均衡服务的能力。 支持用户使用自定义证书进行HTTPS双向认证。
云搜索服务采用EVS和本地磁盘存储用户的索引。在集群创建过程中,用户可指定EVS的类型及规格(即卷大小)。 支持EVS类型有普通I/O、高I/O、超高I/O。 针对不同的ECS,其对应的EVS卷大小限制根据创建集群选择的节点规格而定。
云搜索服务提供了多种磁盘类型: 普通I/O 高I/O 超高I/O 包年/包月、按需计费 节点存储单价 * 购买时长 云硬盘单价请参见云搜索服务价格计算器中的“存储价格”。 公网带宽 当您对集群开通公网访问或者Kibana公网访问功能时,会产生带宽计费。
OpenSearch 1.3.6 向量检索特性介绍 存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。
表5 节点数量的计算方式 节点 性能基线 节点数量计算方式 示例 写入节点 对于挂载云盘的节点,其单核写入性能基线为1MB/s。 对于超高IO型的节点,其单核写入性能基线为1.5MB/s。
同版本升级是升级集群的内核补丁,用于修复问题或优化性能;跨版本升级是升级集群的版本,用于功能加强或版本收编。
优化集群性能 优化Elasticsearch和OpenSearch集群写入性能 集群在使用前,建议参考本实践进行集群的写入性能优化,便于提高集群的写入性能,提升使用效率。
规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。
存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。
当总索引大小超出缓存大小限制时,将会发生索引项的换进换出,此时将会影响查询的性能。通过清除缓存API能够将不再使用的索引缓存清空,保证热数据索引的查询性能。 父主题: 配置OpenSearch集群向量检索
当总索引大小超出缓存大小限制时,将会发生索引项的换进换出,此时将会影响查询的性能。通过清除缓存API能够将不再使用的索引缓存清空,保证热数据索引的查询性能。 父主题: 配置Elasticsearch集群向量检索
由于ESM能够迅速从源集群读取数据,可能会对源集群的性能产生影响。因此,建议在业务低峰时段进行数据迁移,以监控源集群CPU和内存的性能指标变化。通过调整迁移速度和选择适宜的迁移时间窗口,可以有效控制性能影响。
集群 Elasticsearch集群导入数据方式 使用自建Logstash导入数据到Elasticsearch 使用开源Elasticsearch API导入数据到Elasticsearch 使用CDM导入数据到Elasticsearch 增强Elasticsearch集群数据导入性能
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
适用于数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ:PQ算法与IVF-HNSW的结合,PQ可以通过配置选择与HNSW结合和IVF结合,进一步提升系统的容量并降低系统开销,适用于shard中文档数量在十亿级别以上同时对检索性能要求较高的场景。
配置OpenSearch集群向量检索 向量检索特性介绍 在OpenSearch集群创建向量索引 在OpenSearch集群使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强
冷热数据存储 云搜索服务提供了冷数据节点供企业选择,企业可以将部分现查要求秒级返回的数据放在高性能机器上面,对于历史数据要求分钟级别返回的数据放在大容量低规格节点。
配置Elasticsearch集群向量检索 向量检索特性介绍 在Elasticsearch集群创建向量索引 在Elasticsearch集群使用向量索引搜索数据 在嵌套字段中使用向量索引 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例
适用于数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ:PQ算法与IVF-HNSW的结合,PQ可以通过配置选择与HNSW结合和IVF结合,进一步提升系统的容量并降低系统开销,适用于shard中文档数量在十亿级别以上同时对检索性能要求较高的场景。