检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在嵌套字段中使用向量索引 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档
导入数据至Elasticsearch集群 Elasticsearch集群导入数据方式 使用自建Logstash导入数据到Elasticsearch 使用开源Elasticsearch API导入数据到Elasticsearch 使用CDM导入数据到Elasticsearch 增强Elasticsearch
通过Cerebro登录OpenSearch集群 CSS服务的Elasticsearch和OpenSearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro,同时CSS服务的Elasticsearch和OpenSearch集群也完全兼容开源Cerebro。 通过
配置OpenSearch集群公网访问 当集群开启了“安全模式”和“HTTPS访问”时,可以选择是否配置“公网访问”。配置公网访问后,用户可以获得一个公网访问的IP地址,通过这个IP地址可以在公网访问该安全集群。同时,还支持配置访问控制,设置允许公网访问集群的IP地址或网段。 Elasticsearch
切换OpenSearch集群可用区 CSS服务支持跨可用区的能力,在集群使用过程中遇到可用区资源不足或需要提升集群的高可用性时,可以通过切换可用区实现。 场景描述 切换可用区包含两大场景:可用区高可用改造和可用区平移切换。 可用区高可用改造:适用于单AZ改造成两AZ、单AZ改造成三
为OpenSearch集群绑定企业项目 企业可以根据组织架构规划企业项目,将企业分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。本章节为您介绍CSS集群如何绑定、修改企业项目。 前提条件 在使用企业项目前,需账号开通权限才可以进行操作
恢复OpenSearch集群数据 将已有的快照,通过恢复快照功能,将备份的集群快照恢复到本集群或其他满足要求的集群中。 约束限制 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看
创建OpenSearch集群用户并授权使用 CSS服务会对开启安全模式的集群进行访问控制,只有通过身份认证的用户才能访问安全集群。在创建安全集群时,必须配置一个管理员账号。该管理员能够使用OpenSearch Dashboard为集群添加新用户,并授予相应的安全集群使用权限。 背景信息
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads
向量检索的客户端代码示例(Python) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python
CSS服务中如何清理Elasticsearch索引数据? 在清理索引数据前,请谨慎评估索引数据删除后对业务的影响。 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据
使用自建Logstash导入数据到OpenSearch 云搜索服务支持使用自建Logstash将其收集的数据迁移到Elasticsearch和OpenSearch中,方便用户通过CSS搜索引擎高效管理和获取数据。数据文件支持JSON、CSV等格式。 Logstash是开源的服务器端数据处理管道
更改Elasticsearch集群安全模式 集群创建完成后,可以参考本文更改集群的安全模式。 场景描述 CSS服务支持创建多种安全模式的集群,不同集群的差异请参见表1。 表1 集群类型介绍 集群类型 集群描述 适用场景 非安全集群 非安全模式的集群 非安全模式的集群无需安全认证即可访问
通过Kibana登录Elasticsearch集群 CSS服务的Elasticsearch集群默认提供Kibana,无需安装部署,即可一键访问Kibana,同时CSS服务的Elasticsearch集群也兼容了开源Kibana的可视化展现和Elasticsearch统计分析能力。
删除OpenSearch集群快照 当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步删除,这时快照列表中自动创建的快照可以手动删除
入门实践 云搜索服务为您提供各种业务场景、方案架构的最佳实践,方便您根据自身的业务场景选择合适的实践方案。 表1 常用最佳实践 实践场景 描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务,兼容开源
API 集群管理接口 词库管理接口 Kibana公网访问接口 Logstash接口 日志管理接口 公网访问接口 快照管理接口 终端节点接口 参数配置接口 负载均衡 智能运维
应用示例 创建一个按需收费的Elasticsearch集群
计费项 云搜索服务的计费项由规格费用、存储费用和公网带宽费用组成。具体内容如表1所示。 标 * 的计费项为必选计费项。 表1 云搜索服务计费项 计费项 计费项说明 适用的计费模式 计费公式 * 节点规格 计费因子:vCPUs和内存,不同规格的集群类型提供不同的计算和存储能力。 包年
None 服务介绍 云搜索服务 CSS 产品介绍 03:41 了解什么是云搜索服务 特性讲解 云搜索服务 CSS 向量数据库 04:58 了解什么是CSS向量数据库 云搜索服务 CSS Elasticsearch增强能力 07:15 了解CSS的Elasticsearch增强能力