云日志服务 LTS-将自建ELK日志导入云日志服务LTS:方案概述

时间:2024-08-02 09:01:49

方案概述

ELK是Elasticsearch、Logstash和Kibana的简称,它们组合起来提供了业界最常用的 日志分析 和可视化工具。

  • Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。
  • Logstash是一个开源的、服务器端的数据处理管道,能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。
  • Kibana是一个开源的分析和可视化平台,用于数据的可视化、仪表盘创建和搜索查询。通常与Elasticsearch一起使用。

华为 云日志服务LTS 在功能丰富度、成本、性能方面优于开源ELK方案,具体对比可以参考 云日志 服务LTS对比自建ELK Stack有什么优势?。本文提供最佳实践,使用自定义Python脚本和LTS采集器ICAgent,协助用户将日志从Elasticsearch(简称ES)迁移到LTS中。

当前华为云支持E CS 机器通过安装ICAgent来采集日志文件,因此可以基于该功能实现Elasticsearch日志导入云日志服务。

Elasticsearch数据先通过python脚本将数据落盘到ECS,然后通过LTS服务的日志接入功能,将落盘的日志文件采集到LTS服务。

图1 方案流程图
support.huaweicloud.com/bestpractice-lts/lts_07_0022.html