检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ScriptScore查询 写入向量数据后,针对向量字段可以使用ScriptScore进行最近邻查询,查询语法如下所示。 前置过滤条件可以为任意查询,script_score仅针对前置过滤的结果进行遍历,计算向量相似度并排序返回。此种查询方式不使用向量索引算法,性能取决于前置过滤后中间结果集的大小,当
将会发生索引项的换进换出,此时将会影响查询的性能。通过清除缓存API能够将不再使用的索引缓存清空,保证热数据索引的查询性能。 父主题: 配置Elasticsearch集群向量检索
delete(indexName); // 关闭客户端 example.close(); } } 父主题: 配置OpenSearch集群向量检索
HTTP流控开启生效,关闭后不清零,开启流控期间拒绝的新建连接数。 rejected_deny HTTP流控开启生效,关闭后不清零,配置黑名单拒绝的请求数。 memory_allow 内存流控开启生效,关闭后不清零,内存流控允许的请求数,触发内存流控后允许的请求数量,allow_
需要4字节。 num 向量总条数。 delta 元数据大小,该项通常可以忽略。 frag_num 量化编码时的向量分段数,创建索引时如果未配置该值,则由向量维度“dim”决定。 if dim <= 256: frag_num = dim / 4 elif dim <= 512:
HTTP流控开启生效,关闭后不清零,开启流控期间拒绝的新建连接数。 rejected_black HTTP流控开启生效,关闭后不清零,配置黑名单拒绝的请求数。 rejected_breaker 一键断流开启,拒绝的新建连接数。 remote_address IP地址统计,基于配置值统计节点访问的IP地址和请求数量。
射到角色,实现用户关联角色权限。 角色映射功能允许配置角色的成员,通过用户名、后端角色和主机名将用户分配给相应的角色。支持为每种角色配置集群访问权限、索引和文档的访问权限,以及Kibana的使用权限。 有关安全集群的更多安全配置信息以及详细的操作指导,可以参考Elasticsearch的安全模式官方介绍。
在创建向量索引前,请根据业务场景,完成集群高级配置。 在离线导入数据场景下,为了提高批量写入性能,建议将索引的“refresh_interval”参数设置为“-1”,即关闭自动刷新索引。 建议将备份数“number_of_replicas”设置为“0”,当离线数据导入完成后,再设置为需要的值。 其他高级功能的参数配置说明请参见表1。
本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: # 根据集群实际版本填写,此处以7.6举例 pip install elasticsearch==7.6 代码示例
请参见表1。 操作账号必须具有配置自定义词库的权限。可以在IAM服务的“权限管理 > 权限”查看是否有以下权限,如果没有请联系服务管理员添加。 “CSS Administrator”角色。 “OBS Administrator”策略 父主题: 配置Elasticsearch集群自定义词库
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
功的集群进行日常监控。配置集群监控后,就可以在CES管理控制台直观查看集群的监控指标数据。 配置集群监控的操作流程: 配置告警规则:根据实际业务需要对监控指标设置自定义告警规则,当监控指标超过设置的阈值时,会以邮箱、HTTP、HTTPS等方式通知您。 配置监控对象:为集群或集群中某个节点配置监控指标。
功的集群进行日常监控。配置集群监控后,就可以在CES管理控制台直观查看集群的监控指标数据。 配置集群监控的操作流程: 配置告警规则:根据实际业务需要对监控指标设置自定义告警规则,当监控指标超过设置的阈值时,会以邮箱、HTTP、HTTPS等方式通知您。 配置监控对象:为集群或集群中某个节点配置监控指标。
delete(indexName); // 关闭客户端 example.close(); } } 父主题: 配置Elasticsearch集群向量检索
ScriptScore查询 写入向量数据后,针对向量字段可以使用ScriptScore进行最近邻查询,查询语法如下所示。 前置过滤条件可以为任意查询,script_score仅针对前置过滤的结果进行遍历,计算向量相似度并排序返回。此种查询方式不使用向量索引算法,性能取决于前置过滤后中间结果集的大小,当
7个词库参数至少修改一个词库。注:参数传递""空字符串为清空此词库,不传或传递null为不修改。仅支持此词库功能上线后的新集群。 响应参数 无 请求示例 开启并配置词库信息。 POST /v1.0/6204a5bd270343b5885144cf9c8c158d/clusters
es-head插件连接Elasticsearch集群报跨域错误 解决方案 在安装es-head的云主机上测试网络是否连通。 网络连通后,登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。 选择“参数配置”,单击“编辑”,将“http.cors.allow-origin”
Integer 测试结果。 1:表示连接成功。 0:表示地址不可达。 2:表示端口不可达。 3:表示域名无法解析。 -2:表示位置错误。 请求示例 配置端口测试连通性。 POST /v1.0/6204a5bd270343b5885144cf9c8c158d/clusters/4f3deec
String 指定添加自定义模板的集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 配置文件名称。 template 是 AddFavoriteReqTemplate object 自定义模板实体对象。 表3 AddFavoriteReqTemplate
OpenSearch集群支持多种访问方式,方便根据业务使用的编程语言自行选择接入方式。各种访问方式兼容多种网络配置方式,不同网络配置方式获取到的集群访问地址有差异,您可以根据自己的网络环境选择合适的网络配置方式。 访问方式 表1 集群的访问方式 访问方式 适用场景 相关文档 OpenSearch Dashboards(推荐方式)