云搜索服务 CSS-通过索引生命周期管理实现Elasticsearch集群自动滚动索引:方案概述
方案概述
对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。
本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
假设某个索引,其每天约产生2.4TB的数据,索引别名“log-alias”,其数据在Elasticsearch中的组织形态如下图所示。查询时,指向所有test开头的索引;写入时,指向最新的索引。
索引的滚动条件1天是以索引的创建时间来计算的,并不是完整自然日区分的。