检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向量检索特性介绍 向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某
通过备份与恢复实现华为云Elasticsearch集群间数据迁移 CSS服务的Elasticsearch集群之间的数据迁移,可以通过备份与恢复集群快照功能实现。 应用场景 通过备份与恢复实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式
创建快照备份Elasticsearch集群数据 本文介绍CSS集群快照备份的两种方式:自动创建快照和手动创建快照。 约束限制 备份与恢复索引功能上线之前(即2018年3月10日之前)创建的集群,无法创建快照。 第一次备份时,建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘
使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。
使用华为云Logstash迁移Elasticsearch集群的Logstash配置文件样例 本文以源端和目的端是相同类型的CSS Elasticsearch集群为例,介绍使用Logstash进行集群迁移的配置文件样例。当源端和目的端的Elasticsearch集群类型不同时,可以
查询和管理Logstash集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份和日志查询功能。日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
创建和管理Elasticsearch索引策略 本文介绍如何创建和管理Elasticsearch集群的生命周期索引策略。 背景信息 Elasticsearch的ISM(Index State Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息
通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 自建Elasticsearch集群数据迁移到华为云Elasticsearch集群可以使用S3快照备份恢复方式。 应用场景 S3插件(repository-s3)是一个专为Elasticsearch设计的插件,该
Elasticsearch集群支持的监控指标 CES中Elasticsearch集群支持的监控指标 Elasticsearch集群内核支持的监控指标 父主题: Elasticsearch集群监控与日志管理
CES中Logstash集群支持的监控指标 云监控服务CES支持实时监控云搜索服务集群的核心指标,方便用户掌握集群的指标信息,以便及时处理集群的异常状况。 功能说明 本节定义了云搜索服务上报云监控服务的监控指标的命名空间,监控指标列表和维度定义。用户可以通过云监控服务提供管理控制
智能检测Elasticsearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项
配置Elasticsearch集群监控 使用CES监控Elasticsearch集群 配置Elasticsearch集群内核监控 配置Elasticsearch集群索引监控 父主题: Elasticsearch集群监控与日志管理
配置Elasticsearch集群读写流量控制策略1.0 场景描述 流量控制1.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制、基于请求Path的堆内存最大使用量流控能力、基于CPU最大占用率流控能力,一键断流能
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
查询和管理Elasticsearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。
通过索引生命周期管理实现Elasticsearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据