检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: pip install opensearch-py==1
中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。 预加载向量索引 PUT /_vector/warmup/{index_name} 使用上述接口能将指定index_name的向量索引预加载至堆外内存供查询使用。 清除缓存
什么是云搜索服务 什么是云搜索服务 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云
2、OpenSearch 1.3.6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划
前提条件 已准备好Prometheus监控服务器,并获取Pushgateway地址。Prometheus和Elasticsearch之间要保证网络互通,否则告警信息无法成功发送。 Elasticsearch集群处于可用状态。 设置告警同步 登录云搜索服务管理控制台。 在“集群管理 > E
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
方管理用户系统。 数据安全 在云搜索服务中,通过多副本机制保证用户的数据安全。 支持客户端与服务端通过SSL加密通信。 操作审计 通过云审计服务支持对关键日志与操作进行审计。 高可用性 云搜索服务支持跨可用区部署方案。为了防止数据丢失并在服务中断时最大限度地减少集群停机时间,在创
索引监控不会监控以“monitoring-eye-css-*”开头的索引,避免使用的该索引名称匹配到监控索引。 索引监控不允许删除“monitoring-eye-css-*”的index pattern,否则会导致监控图表异常。 访问集群 登录云搜索服务管理控制台。 在“集群管理”页面,选择需要访问的集群
API 说明 开启终端节点服务 该接口用于开启终端节点服务。 关闭终端节点服务 该接口用于关闭终端节点服务。 获取终端节点连接 该接口用于获取终端节点连接。 更新终端节点连接 该接口用于更新终端节点连接。 修改终端节点服务白名单 该接口用于修改终端节点服务访问控制。 表10 参数配置接口
+HTTP协议的集群 使用Spring Boot接入HTTPS集群(不使用安全证书):适用于安全模式+HTTPS协议的集群 使用Spring Boot接入HTTPS集群(使用安全证书):适用于安全模式+HTTPS协议的集群 Spring Boot的具体使用方式请参见官方文档:https://docs
circuit_breaker.cpu.limit 向量索引堆外内存使用上限。 假设使用128GB内存的机器且堆内存大小为31GB,默认堆外内存使用上限为(128 - 31) * 80% = 77.6GB,堆外内存使用量超过该值将会触发写入熔断。 默认值:80%。 native.cache
ST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10.2举例。 <dependency> <groupId>org
索引的滚动条件1天是以索引的创建时间来计算的,并不是完整自然日区分的。 前提条件 CSS集群处于可用状态。 使用Elasticsearch 7.6.2或更高版本的集群。 通过索引生命周期管理实现自动滚动索引 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
公网带宽单价请参见云搜索服务价格计算器中的“带宽价格”。 在购买云搜索服务过程中,可能还会涉及一些快照存储费用。具体如表2所示。 表2 快照配置计费项 计费项 计费项说明 对象存储(Object Storage Service,OBS) 云搜索服务使用OBS存储快照和日志,会产生相
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
集群的整个请求情况。为了改进这一点,CSS服务新增了HTTP状态码监控功能,能够获取HTTP状态码统计信息。 Elasticsearch 7.6.2、Elasticsearch 7.10.2、 监控HTTP状态码 访问集群 登录云搜索服务管理控制台。 在“集群管理”页面,选择需要
'__main__': # 对于非安全集群,使用: es_client = get_client(hosts=['http://x.x.x.x:9200']) # 对于开启了https的安全集群,使用: # es_client = get_cli
search”,“.bulk”)不能满足使用需求,或存在兼容性问题,可以选择使用Low Level Client方式,甚至可以使用“HighLevelClient.getLowLevelClient()”方式直接获取Low Level Client。使用Low Level Client发
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]