通过索引生命周期管理实现OpenSearch集群自动滚动索引 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史索引删除,实现自动滚动索引。 本案例通过配置OpenSearch集群的生命周期策略,实现当索引的大小达到1TB
配置Elasticsearch集群索引回收站 Elasticsearch集群在执行删除索引的操作时,会直接将索引删除,没有回收站的能力。为了防止客户误操作导致数据被删除,CSS提供了索引回收站功能,支持将删除的索引存放到回收站中,且支持从回收站中还原索引,进而提升集群的数据可靠性。
通过索引生命周期管理实现OpenSearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS
Elasticsearch AI搜索介绍 传统搜索引擎依赖关键词匹配,难以捕捉语义关联,且无法处理多模态数据。为突破这一局限,Elasticsearch AI搜索通过集成CSS向量数据库与搜索大模型,构建了具备语义理解、多模态处理和知识问答能力的智能搜索体系。其核心价值在于: 语义理解
配置Elasticsearch集群YML文件默认参数 当需要根据业务需求调整Elasticsearch集群的运行行为时,比如优化查询速度、增强跨域访问能力、调整内部缓存大小或管理后台任务队列,都可以通过调整集群的配置实现。Elasticsearch集群的核心配置信息都集中在“elasticsearch.yml
切换Elasticsearch集群冷热数据 当Elasticsearch集群配有冷数据节点时,支持对索引数据进行冷热切换,有利于优化存储成本和查询性能。 冷热数据切换是指将集群中的数据根据使用频率和访问需求分配到不同性能和成本的节点上。热数据节点存储频繁更新和查询的实时数据,通常使用高性能硬件
查询和管理Logstash集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份和日志查询功能。日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。
通过备份与恢复实现华为云Elasticsearch集群间数据迁移 CSS服务的Elasticsearch集群之间的数据迁移,可以通过备份与恢复集群快照功能实现。 应用场景 通过备份与恢复实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群,
使用ElasticSearch的HLRC(High Level Rest Client)时,报出I/O Reactor STOPPED 问题现象 使用ElasticSearch的HLRC(High Level Rest Client)时,偶现报出I/O Reactor STOPPED
通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 自建Elasticsearch集群数据迁移到华为云Elasticsearch集群可以使用S3快照备份恢复方式。 应用场景 S3插件(repository-s3)是一个专为Elasticsearch设计的插件,该插件允许用户将
使用DSL语言在Elasticsearch中搜索数据 DSL语言是Elasticsearch查询域的特定语言,是客户端与Elasticsearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL本质上也是先转译为Elasticsearch
使用Logstash将RDS MySQL数据同步至Elasticsearch 应用场景 CSS服务的Logstash集群默认安装了logstash-input-jdbc插件,该插件为Logstash提供了从关系型数据库RDS MySQL中导入和处理数据的能力,通过配置Logstash
通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过备份与恢复可以将第三方Elasticsearch集群数据迁移至华为云Elasticsearch集群。 应用场景 通过备份与恢复实现第三方Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移
使用CSS Logstash迁移Elasticsearch集群的Logstash配置文件样例 本文以源端和目的端是相同类型的CSS Elasticsearch集群为例,介绍使用CSS服务的Logstash进行集群迁移的配置文件样例。当源端和目的端的Elasticsearch集群类型不同时
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式
开启搜索大模型插件 Elasticsearch集群在部署Embedding节点后,会预装搜索大模型插件(默认关闭状态)。该插件为集群提供了AI模型服务集成能力,通过开启插件并配置各类模型服务,您可以将先进的AI能力无缝集成到搜索业务中。 前提条件 确认Elasticsearch集群满足以下条件
创建和管理Elasticsearch索引策略 本文介绍如何创建和管理Elasticsearch集群的生命周期索引策略。 背景信息 Elasticsearch的ISM(Index State Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息的变化来自动触发周期性的管理操作
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads
智能检测Elasticsearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情
向量检索特性介绍 向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量的数据上做匹配
您即将访问非华为云网站,请注意账号财产安全