检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化Elasticsearch和OpenSearch集群写入性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的写入性能优化,便于提高集群的写入性能,提升使用效率。 数据写入流程 图1 数据写入流程 如图1所示,以Elasticsearch
查询集群列表 功能介绍 该接口用于查询并显示集群列表以及集群的状态。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参见获取项目
续费概述 续费简介 包年/包月集群到期后会影响集群的正常运行。如果您想继续使用,需要在指定的时间内为集群续费,否则vCPUs、内存、云硬盘等资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月集群,按需计费集群不需要续费,只需要保证账户余额充足即可。 集群在到期前续费成功
通过索引生命周期管理实现Elasticsearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过
通过索引生命周期管理实现OpenSearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时
配置Elasticsearch集群聚合增强 场景描述 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下,耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储
创建一个按需收费的Elasticsearch集群 本节通过调用云搜索服务的API创建CSS服务集群,CSS的接口调用流程如图1所示。 图1 接口调用流程 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API
ELasticsearch数据迁移 Elasticsearch集群数据迁移方案介绍 通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云
配置OpenSearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分
使用Logstash迁移数据 Logstash是一款收集、转换、清洗、解析数据的工具,本章节为您提供了一个使用Logstash集群完成Elasticsearch集群间数据迁移的示例,您可以参考此示例来了解Logstash服务,包括创建集群、导入导出数据、任务配置等操作。 操作流程
配置Elasticsearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分
Logstash集群规划建议 规划集群可用区 为防止数据丢失,并确保在服务中断情况下能降低集群的停机时间,从而增强集群的高可用性,CSS服务支持跨可用区(即多可用区)部署。用户可以在同一个区域内选择两个不同的可用区进行集群部署。 在创建集群时,如果用户选择了两个可用区,CSS服务将自动开启跨
变更OpenSearch集群节点规格 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格”。变更规格过程中
切换Elasticsearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据
向量检索的客户端代码示例(Python) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python
创建集群V2 功能介绍 该接口用于创建拥有多种不同节点类型(ess,ess-cold,ess-client,ess-master)组合的集群。 调用方法 请参见如何调用API。 URI POST /v2.0/{project_id}/clusters 表1 路径参数 参数 是否必选
ECS无法连接到集群 遇到该问题,请按照如下操作步骤排查解决。 先确认ECS实例和集群是否在同一个VPC。 如果在,执行步骤2。 如果不在,需要重新创建ECS实例,使之和集群在同一个VPC下。 查看集群的安全组的出方向和入方向是否已允许9200端口(TCP协议),或者允许的端口范围已包含
变更Elasticsearch集群节点规格 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格
配置Elasticsearch集群索引回收站 Elasticsearch集群在执行删除索引的操作时,会直接将索引删除,没有回收站的能力。为了防止客户误操作导致数据被删除,CSS提供了索引回收站功能,支持将删除的索引存放到回收站中,且支持从回收站中还原索引,进而提升集群的数据可靠性。
配置Elasticsearch集群终端节点服务 终端节点服务(VPC Endpoint Service)通过专属网关,可以将VPC中的服务方便的提供给其他VPC中的资源使用,实现跨VPC的访问,而不必暴露服务端相关的网络信息,使您的访问更加安全、可靠。在开启终端节点服务时,系统会默认给用户创建一个终端节点