检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到
通过Curl命令行接入OpenSearch集群 开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。 前提条件
通过Curl命令行接入Elasticsearch集群 开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群
创建快照备份Elasticsearch集群数据 本文介绍CSS集群快照备份的两种方式:自动创建快照和手动创建快照。 约束限制 备份与恢复索引功能上线之前(即2018年3月10日之前)创建的集群,无法创建快照。 第一次备份时,建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO
创建快照备份OpenSearch集群数据 本文介绍CSS集群快照备份的两种方式:自动创建快照和手动创建快照。 约束限制 备份与恢复索引功能上线之前(即2018年3月10日之前)创建的集群,无法创建快照。 第一次备份时,建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响
切换Elasticsearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据
切换OpenSearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据
扩容OpenSearch集群 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群节点的数量、容量、规格和类型时,可以参考本文扩容集群。 场景描述 CSS服务支持多种扩容场景,如表1所示。 表1 扩容场景 场景 描述 相关文档 增加节点数量和容量
扩容Elasticsearch集群 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群节点的数量、容量、规格和类型时,可以参考本文扩容集群。 场景描述 CSS服务支持多种扩容场景,如表1所示。 表1 扩容场景 场景 描述 相关文档 增加节点数量和容量
缩容Elasticsearch集群 当集群有充足的能力处理当前数据时,为节省资源可以参考本文缩容集群的节点数量。 场景描述 CSS服务支持多种缩容场景,如表1所示。 表1 缩容场景 场景 描述 相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源
缩容OpenSearch集群 当集群有充足的能力处理当前数据时,为节省资源可以参考本文缩容集群的节点数量。 场景描述 CSS服务支持多种缩容场景,如表1所示。 表1 缩容场景 场景 描述 相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源
恢复Elasticsearch集群数据 将已有的快照,通过恢复快照功能,将备份的集群快照恢复到本集群或其他满足要求的集群中。 约束限制 备份与恢复索引功能上线之前(即2018年3月10日之前)创建的集群,无法创建快照。 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作
恢复OpenSearch集群数据 将已有的快照,通过恢复快照功能,将备份的集群快照恢复到本集群或其他满足要求的集群中。 约束限制 备份与恢复索引功能上线之前(即2018年3月10日之前)创建的集群,无法创建快照。 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。
替换Elasticsearch集群指定节点 当集群中的节点发生故障时,可以执行“替换指定节点”任务。通过删除故障节点,重建一个一样的新节点,实现节点替换。替换指定节点过程中会将替换节点的数据提前转移,不会造成数据丢失。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制
启动Logstash迁移任务 场景描述 使用Logstash集群启动Logstash迁移任务的操作流程: 测试数据源和目的端与Logstash集群之间的网络连通性,确保数据传输畅通:测试连通性 通过启动配置文件启动Logstash迁移任务。 当管道列表没有“工作中”的任务时,则启动配置文件
替换OpenSearch集群指定节点 当集群中的节点发生故障时,可以执行“替换指定节点”任务。通过删除故障节点,重建一个一样的新节点,实现节点替换。替换指定节点过程中会将替换节点的数据提前转移,不会造成数据丢失。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制 一次只能选择一个节点进行替换
查看Logstash集群信息 在Logstash集群的列表页和基本信息页,可以获取集群的状态、版本、节点等信息。 集群列表介绍 集群列表会展示当前账号下同一集群类型的所有集群。当集群数量较多时,会翻页显示,支持查看任何状态下的集群。 集群列表默认按时间顺序排列,时间最近的集群显示在最前端
向量检索特性介绍 向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量的数据上做匹配
创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”
向量检索特性介绍 向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量的数据上做匹配