检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过索引生命周期管理实现OpenSearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1
使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。
使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。
集群索引插入数据失败 问题现象 向CSS集群索引中插入数据失败,报错如下: 问题分析 当磁盘的使用率超过95%时,Elasticsearch为了防止节点耗尽磁盘空间,自动将索引设置为只读模式。 解决方案 新版本(7.10.2之后)集群磁盘使用率下降后会自动关闭只读模式,只需清理或扩容磁盘。
CSS服务的集群节点磁盘空间用于存放哪些文件? 占用集群节点磁盘空间的日志及文件如下所示: 日志文件:Elasticsearch日志。 数据文件:Elasticsearch索引文件。 其他文件:集群配置文件。 操作系统:默认余留5%的存储空间。 父主题: 产品咨询
CSS服务中如何清理Elasticsearch索引数据? 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro Index
Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_of_shards数必须设置为1,否则无法注册。 当需要使用IVF_GRAPH索引时,中心点索引的algorithm设置为GRAPH。 当需要使用IVF_GRAPH_PQ索引时,中心点索引的algorithm设置为GRAPH_PQ。
Elasticsearch集群数据后,为什么磁盘使用率反而增加? 使用delete_by_query命令删除数据并不是真正意义上的物理删除,它只是对数据增加了删除标记。当再次搜索时,会搜索全部数据后再过滤掉带有删除标记的数据。 因此,该索引所占的空间并不会因为执行磁盘删除命令后马
通过索引生命周期管理实现Elasticsearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转
可以自定义索引策略,实现自动处理索引的滚动或删除,以优化集群搜索性能或降低存储成本。ISM的使用流程: 创建生命周期策略:在Kibana创建索引的生命周期策略Policy。 索引关联生命周期策略:将索引关联上创建的生命周期策略,生成索引策略。 管理索引策略:支持对索引策略进行策略修改、重启和变更。
可以自定义索引策略,实现自动处理索引的滚动或删除,以优化集群搜索性能或降低存储成本。ISM的使用流程: 创建生命周期策略:在Kibana创建索引的生命周期策略Policy。 索引关联生命周期策略:将索引关联上创建的生命周期策略,生成索引策略。 管理索引策略:支持对索引策略进行策略修改、重启和变更。
通过索引生命周期管理实现OpenSearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到
Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_of_shards数必须设置为1,否则无法注册。 当需要使用IVF_GRAPH索引时,中心点索引的algorithm设置为GRAPH。 当需要使用IVF_GRAPH_PQ索引时,中心点索引的algorithm设置为GRAPH_PQ。
单击创建pattern无反应,无法创建pattern。 问题原因 检查磁盘是否太满,导致Kibana索引为只读状态。 检查是否有多个Kibana索引。 解决方案 执行以下命令删除不必要的索引数据,释放磁盘空间。 PUT .kibana/_settings { "index": { "blocks":
管理OpenSearch集群索引策略 创建及管理OpenSearch索引策略 通过索引生命周期管理实现OpenSearch集群自动滚动索引 通过索引生命周期管理实现OpenSearch集群存算分离 父主题: 使用OpenSearch搜索数据
实时数据同步:通过华为云数据复制服务DRS,可以实现MySQL数据库中的数据实时同步到Elasticsearch,确保数据的一致性和实时性。 简化的数据迁移和索引创建:在Elasticsearch中,可以创建与MySQL数据库表结构相对应的索引,简化了数据迁移和索引管理的复杂性。
管理Elasticsearch集群索引策略 创建和管理Elasticsearch索引策略 通过索引生命周期管理实现Elasticsearch集群自动滚动索引 通过索引生命周期管理实现Elasticsearch集群存算分离 父主题: 使用Elasticsearch搜索数据
CSS服务中如何配置Elasticsearch索引副本数量? Elasticsearch集群在创建索引时可以指定分片数量,即主分片数量。索引创建成功后,主分片数量不可修改,副本数量可以修改,“副分片数量 = 主分片数量 x 副本数量”。 在Kibana中可以修改Elasticsearch集群的副本数量。
点构成。 索引 用于存储Elasticsearch的数据,是一个或多个分片分组在一起的逻辑空间。 Shard 索引可以存储数据量超过1个节点硬件限制的数据。为满足这样的需求,Elasticsearch提供了一个能力,将一个索引拆分为多个,称为Shard。当您创建一个索引时,您可以