检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch向量检索的性能测试和比较 应用场景 云搜索服务的向量检索引擎提供了全托管、高性能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。
下线后,其余节点的磁盘容量能够接纳该节点的所有数据。 下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和
单击右侧可以修改集群名称。 ID 集群的唯一标识,是系统自动生成的。 同一个区域下,集群ID是唯一的。 集群版本 集群的版本信息。 集群状态 集群当前的状态。 任务状态 集群当前的任务状态,如果没有进行中的任务则显示“--”。 创建时间 集群创建的时间。 集群存储容量(GB) 集群设置的存储容量。 集群存储使用量(GB)
已创建一个ECS服务,且和CSS服务的集群在同一个虚拟私有云和安全组中。 如果ECS和CSS服务的集群不在同一安全组中,请修改ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。 ECS的使用请参见自定义购买ECS。 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。
已创建一个ECS服务,且和CSS服务的集群在同一个虚拟私有云和安全组中。 如果ECS和CSS服务的集群不在同一安全组中,请修改ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。 ECS的使用请参见自定义购买ECS。 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。
向量检索的客户端代码示例(Java) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
st>和端口<port>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9200”;当集群有多个节点时,此处显示所有节点的IP地址和端口号,例如“10
”列获取并记录集群的内网IP地址<host>和端口<port>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9200”;当集群有
址。 安全组 安全组起着虚拟防火墙的作用,为集群提供安全的网络访问控制策略。 选择集群需要的安全组,单击“查看安全组”跳转到安全组列表,可以了解安全组详情。 说明: 请确保安全组的“端口范围/ICMP类型”为“Any”或者包含端口9200的端口范围。 安全模式 选择是否开启集群安全模式。
CSS服务中如何重置安全集群的管理员密码? 访问Elasticsearch集群时9200和9300端口是否都开放? 如何使用NAT网关实现CSS服务公网访问? 自建Kibana如何对接CSS服务的Elasticsearch集群? 自建OpenSearch Dashboards如何对接CSS服务的OpenSearch集群?
子网 集群所属的子网。 安全组 集群所属的安全组。 单击右侧的“更改安全组”可以修改集群的安全组信息。 须知: 进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。 安全模式 集群的安全模式。 启用:表示当前集群是安全模式的集群。
子网 集群所属的子网。 安全组 集群所属的安全组。 单击右侧的“更改安全组”可以修改集群的安全组信息。 须知: 进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。 安全模式 集群的安全模式。 启用:表示当前集群是安全模式的集群。
在集群管理列表页面,选择待导入数据的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>和端口<port>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10.62
在集群管理列表页面,选择待导入数据的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>和端口<port>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10.62
"true" 表示是包周期计费的集群。 "false" 表示是按需计费的集群。 bandwidthResourceId String 参数解释: es公网访问的资源id。 ipv6Endpoint String 参数解释: 集群内网访问IPv6地址和端口号。 表5 ClusterListDatastore
CSS服务中为什么新创建的索引分片集中分配到单节点上? 原因分析 新建索引分片被集中分配于一个node节点上可能有以下原因: 之前索引的分配导致某个节点上的shards数量过少,新建索引shards分配被balance.shard参数主导,为了平衡所有索引的全部分片,将shards集中分配在数量过少的节点上。
OpenSearch集群的使用流程 任务分类 操作 参考文档 使用 规划集群 在创建OpenSearch集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。
不同访问地址的获取方式请参见网络配置。 在云搜索服务管理控制台,单击左侧导航栏的“集群管理”。 在集群管理列表页面,选择需要访问的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。
中已运行时间最长的一条查询任务进行中断。 fair策略是综合考虑内存和时间两种因素,如果分片查询的堆内存申请大小相差不超过“最大堆内存乘search.isolator.strategy.ratio”的大小,则认为时间较长的查询更应该中断。否则认为堆内存使用较大的查询更应该中断。 默认值:fair