云日志服务 LTS-云日志服务LTS对比自建ELK Stack有什么优势?:成本对比

时间:2024-10-21 11:43:55

成本对比

场景一:

假设客户每天原始日志100GB(日志平均速率1.16MB/s),日志平均存储30天,30天原始日志总量为3000GB,日志存储方式为一主一副本。

根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储3000GB原始日志,至少需要准备3000GB*2.2(存储膨胀)*2(50%磁盘冗余) = 13200GB磁盘。

搭建ES最小典型配置是3台E CS (16U64G5TB),kafka双副本能支持缓存最近12小时的日志。

表1 自建ELK

大类

小类

月成本(合计:12597元

费用占比

搭建ES

3 * ECS(C6 16U64G)

3*1999=5997元

47.6%

云硬盘EVS(高IO 15TB)

0.35*15*1024=5376元

42.7%

搭建KAFKA

3 * ECS(2U4G)

3*208=624元

4.9%

云硬盘EVS(超高IO 3*200GB)

600元

4.7%

LTS使用价格计算器,计算出来月成本约为2102元,使用LTS的成本约为自建ELK成本的16.7%,原因是在小日志量场景下,自建ELK起步资源成本很高,相比于按需付费的LTS,有很大劣势。

场景二:

假设客户每天原始日志1TB(日志平均速率11.6MB/s),日志平均存储7天,7天原始日志总量为7TB,日志存储方式为一主一副本。根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储7TB原始日志,至少需要准备7TB*2.2(存储膨胀)*2(50%磁盘冗余) = 31 TB磁盘。

搭建ES最小典型配置是3台ECS(16U64G10TB),kafka双副本能支持缓存最近12小时的日志

表2 自建ELK

大类

小类

月成本(合计:18931元

费用占比

搭建ES

3 * ECS(C6 16U64G)

3*1999=5997元

31.7%

云硬盘EVS(高IO 31TB)

0.35*31*1024=11110元

58.7%

搭建KAFKA

3 * ECS(2U4G)

3*208=624元

3.3%

云硬盘EVS(超高IO 3*400GB)

1200元

6.3%

LTS使用价格计算器,计算出来月成本约为13408元,使用LTS的成本约为自建ELK成本的71%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。

场景三:

假设客户每天原始日志5TB(日志平均速率58MB/s),日志平均存储30天,30天原始日志总量为150TB,日志存储方式为一主一副本。

根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储150TB原始日志,至少需要准备150TB*2.2(存储膨胀)*2(50%磁盘冗余) = 660 TB磁盘。

搭建ES最小典型配置是66台ECS(16U64G10TB),kafka双副本能支持缓存最近12小时的日志

表3 自建ELK

大类

小类

月成本(合计:374202元

费用占比

搭建ES

66 * ECS(C6 16U64G)

66*1999=131934元

35.3%

云硬盘EVS(高IO 660TB)

0.35*660*1024=236544元

63.2%

搭建KAFKA

3 * ECS(2U4G)

3*208=624元

0.2%

云硬盘EVS(超高IO 3*1700GB)

5100元

1.4%

LTS使用价格计算器,计算出来月成本约为107655元,使用LTS的成本约为自建ELK成本的28.8%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。

support.huaweicloud.com/lts_faq/lts_faq_1003.html