云搜索服务 CSS-通过索引生命周期管理实现Elasticsearch集群自动滚动索引:方案概述

时间:2024-10-23 20:30:39

方案概述

对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。

本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。

假设某个索引,其每天约产生2.4TB的数据,索引别名“log-alias”,其数据在Elasticsearch中的组织形态如下图所示查询时,指向所有test开头的索引;写入时,指向最新的索引。

图1 log-alias的组织形态

索引的滚动条件1天是以索引的创建时间来计算的,并不是完整自然日区分的。

support.huaweicloud.com/usermanual-css/css_01_0021.html