检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。 测试前准备 创建Elasticsearch向量数据库,参考创建Elasticsearch集群。 “节点数量”选择“3
更改OpenSearch集群安全模式 集群创建完成后,可以参考本文更改集群的安全模式。 场景描述 CSS服务支持创建多种安全模式的集群,不同集群的差异请参见表1。 表1 集群类型介绍 集群类型 集群描述 适用场景 非安全集群 非安全模式的集群 非安全模式的集群无需安全认证即可访问
更改Elasticsearch集群安全模式 集群创建完成后,可以参考本文更改集群的安全模式。 场景描述 CSS服务支持创建多种安全模式的集群,不同集群的差异请参见表1。 表1 集群类型介绍 集群类型 集群描述 适用场景 非安全集群 非安全模式的集群 非安全模式的集群无需安全认证即
CSS服务中Filebeat版本与集群版本的关系是什么? 非安全模式集群:不限制。 安全模式集群:需使用跟集群版本配套的filebeat oss版本,请参考https://www.elastic.co/cn/downloads/past-releases#filebeat-oss进行下载。 父主题:
优化Elasticsearch和OpenSearch集群写入性能 集群在使用前,建议参考本实践进行集群的写入性能优化,便于提高集群的写入性能,提升使用效率。 优化Elasticsearch和OpenSearch集群查询性能 集群在使用前,建议参考本实践进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。
remote_sync.sync_interval": "2s" } 查询同步状态 获取自动同步状态 该接口可以获取匹配索引同步的状态。 请求示例如下: GET auto_sync/stats 接口返回示例如下: { "success_count" : 3, "failed_count"
aS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措
S3插件(repository-s3)是一个专为Elasticsearch设计的插件,该插件允许用户将Elasticsearch的快照备份存储到与S3 API兼容的存储服务中,例如华为云的对象存储服务(OBS)。S3插件提供了一种高效、灵活且安全的方式来备份Elasticsearch集群的数据。
安全模式+HTTP协议的集群 开启 关闭 不支持启用 支持启用 安全模式+HTTPS协议的集群 开启 开启 支持启用 支持启用 前提条件 已经参考OpenSearch集群规划建议完成待创建的OpenSearch集群规划。 创建集群 登录云搜索服务管理控制台。 在总览页面单击右上角的“创建集群”,进入“创建集群”页面。
存储在OBS上的索引数据会收取OBS费用,费用可以参考OBS价格计算器中单AZ标准存储的价格。 冻结索引到OBS后仍可执行查询命令获取索引信息的原理 由于Elasticsearch和OpenSearch集群默认使用本地存储,底层的Lucene索引文件存储在本地磁盘,Lucene通过Directory接口与底层存储进行交互,通过以下接口可以读取文件。
进行性能测试。 本次测试采用官方提供的geonames,大小3.2G,11396505个doc。索引采用6个shard(默认为5个)。性能指标说明可以参考官方文档https://esrally.readthedocs.io/en/stable/summary_report.html#summary-report。
安全模式+HTTP协议的集群 开启 关闭 不支持启用 支持启用 安全模式+HTTPS协议的集群 开启 开启 支持启用 支持启用 前提条件 已经参考Elasticsearch集群规划建议完成待创建的Elasticsearch集群规划。 创建集群 登录云搜索服务管理控制台。 在总览页面单
自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro Index State Management的详细说明请参见:https://opendistro
权限管理的难度,方便权限扩展易于维护。三者之前的关系如图1所示。 图1 用户、权限和角色 表1 概念介绍 参数 描述 User 用户:可以向Elasticsearch集群发出操作请求。用户具有凭证(例如,用户名和密码)、零个或多个后端角色以及零个或多个自定义属性。 Role 角色
务前检查账号状态,账号不能处于欠费或冻结状态。 如果您还没有华为账号,请参考以下步骤创建。 打开华为云网站。 在页面右上角单击“注册”,根据提示信息完成注册。 勾选服务条款, 单击“开通”。 实名认证,请参考: 个人账号:实名认证 企业账号:实名认证 已准备好源Elasticse
终端节点的费用将由用户进行支付,详细的计费方式请参考终端节点计费说明。 当集群的网络配置中,“虚拟私有云”选择的是共享VPC,“子网”选择的是共享VPC下的子网,则该集群不支持配置终端节点服务。 创建终端节点需要有相关的权限,请参考VPC终端节点权限管理。 公网访问和终端节点服务
终端节点的费用将由用户进行支付,详细的计费方式请参考终端节点计费说明。 当集群的网络配置中,“虚拟私有云”选择的是共享VPC,“子网”选择的是共享VPC下的子网,则该集群不支持配置终端节点服务。 创建终端节点需要有相关的权限,请参考VPC终端节点权限管理。 公网访问和终端节点服务
选填。记录IAM用户相关信息。 暂不配置 图4 配置访问方式 表2 访问方式 访问方式 说明 取值样例 编程访问 为IAM用户启用访问密钥或密码,支持用户通过API、CLI、SDK等开发工具访问云服务。 勾选 管理控制台访问 为IAM用户启用密码,支持用户登录管理控制台访问云服务。此时凭证类型“密码”为必选项。
云搜索服务CSS的集群快照存储在对象存储服务(OBS)的桶中。详细请参考对象存储服务用户指南。 统一身份认证服务(Identity and Access Management,简称IAM) 云搜索服务CSS使用统一身份认证服务(IAM)进行鉴权。详细请参考统一身份认证服务用户指南。 云监控服务(Cloud
"euclidean" } } } } 写入中心点向量数据。 参考导入向量数据将采样或者聚类得到的中心点向量写入上述创建的my_dict索引中。 调用注册接口。 将上述创建的my_dict索引注册具有全局唯一标识名称(dict_name)的Dict对象。