云日志服务 LTS-云日志服务LTS对比自建ELK Stack有什么优势?:成本对比
成本对比
场景一:
假设客户每天原始日志100GB(日志平均速率1.16MB/s),日志平均存储30天,30天原始日志总量为3000GB,日志存储方式为一主一副本。
根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储3000GB原始日志,至少需要准备3000GB*2.2(存储膨胀)*2(50%磁盘冗余) = 13200GB磁盘。
搭建ES最小典型配置是3台E CS (16U64G5TB),kafka双副本能支持缓存最近12小时的日志。
大类 |
小类 |
月成本(合计:12597元) |
费用占比 |
---|---|---|---|
搭建ES |
3 * ECS(C6 16U64G) |
3*1999=5997元 |
47.6% |
云硬盘EVS(高IO 15TB) |
0.35*15*1024=5376元 |
42.7% |
|
搭建KAFKA |
3 * ECS(2U4G) |
3*208=624元 |
4.9% |
云硬盘EVS(超高IO 3*200GB) |
600元 |
4.7% |
LTS使用价格计算器,计算出来月成本约为2102元,使用LTS的成本约为自建ELK成本的16.7%,原因是在小日志量场景下,自建ELK起步资源成本很高,相比于按需付费的LTS,有很大劣势。
场景二:
假设客户每天原始日志1TB(日志平均速率11.6MB/s),日志平均存储7天,7天原始日志总量为7TB,日志存储方式为一主一副本。根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储7TB原始日志,至少需要准备7TB*2.2(存储膨胀)*2(50%磁盘冗余) = 31 TB磁盘。
搭建ES最小典型配置是3台ECS(16U64G10TB),kafka双副本能支持缓存最近12小时的日志
大类 |
小类 |
月成本(合计:18931元) |
费用占比 |
---|---|---|---|
搭建ES |
3 * ECS(C6 16U64G) |
3*1999=5997元 |
31.7% |
云硬盘EVS(高IO 31TB) |
0.35*31*1024=11110元 |
58.7% |
|
搭建KAFKA |
3 * ECS(2U4G) |
3*208=624元 |
3.3% |
云硬盘EVS(超高IO 3*400GB) |
1200元 |
6.3% |
LTS使用价格计算器,计算出来月成本约为13408元,使用LTS的成本约为自建ELK成本的71%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。
场景三:
假设客户每天原始日志5TB(日志平均速率58MB/s),日志平均存储30天,30天原始日志总量为150TB,日志存储方式为一主一副本。
根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储150TB原始日志,至少需要准备150TB*2.2(存储膨胀)*2(50%磁盘冗余) = 660 TB磁盘。
搭建ES最小典型配置是66台ECS(16U64G10TB),kafka双副本能支持缓存最近12小时的日志
大类 |
小类 |
月成本(合计:374202元) |
费用占比 |
---|---|---|---|
搭建ES |
66 * ECS(C6 16U64G) |
66*1999=131934元 |
35.3% |
云硬盘EVS(高IO 660TB) |
0.35*660*1024=236544元 |
63.2% |
|
搭建KAFKA |
3 * ECS(2U4G) |
3*208=624元 |
0.2% |
云硬盘EVS(超高IO 3*1700GB) |
5100元 |
1.4% |
LTS使用价格计算器,计算出来月成本约为107655元,使用LTS的成本约为自建ELK成本的28.8%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。