日志采集方式
采集主机日志
云日志服务可以将主机待采集日志的路径配置到日志流中,ICAgent将按照日志采集规则采集日志,并将多条日志进行打包,以日志流为单位发往云日志服务,您可以在云日志服务控制台实时查看日志。
采集云服务日志
云日志服务(LTS)支持采集计算、容器、安全与合规等华为云云产品的日志数据,包括云服务器 ECS、云容器引擎 CCE、Web应用防火墙 WAF、应用运维管理 AOM等。
API采集日志
云日志服务提供接口,可以采集主机上报租户的日志。
SDK采集日志
云日志服务SDK提供了Java语言上报日志的一系列方法,方便用户直接使用编码方式上报日志到云日志服务后台。
日志转储方式
转储至对象存储服务OBS
转储OBS后提供日志存储功能,长期保存日志。
转储至数据接入服务DIS
转储DIS提供日志长期存储能力和丰富的大数据分析能力。DIS可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。
转储至分布式消息服务DMS
转储DMS通过分布式消费服务API处理日志。分布式消息服务 DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。
转储至数据仓库服务DWS
数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
云日志服务基本功能
实时采集日志
云日志服务提供实时日志采集功能,采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。
采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。
日志查询与实时分析
对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。
日志监控与告警
云日志服务结合应用运维管理(Application Operations Management,简称AOM),支持对存储在云日志服务中的日志数据进行关键词统计,通过在一定时间段内日志中关键字出现次数,实时监控服务运行状态。
日志转储
主机和云服务的日志数据上报至云日志服务后,默认存储时间为7天,可以在1-30天之间进行设置。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)、数据接入服务(DIS)中长期保存。日志转储基于复制的转储机制,在LTS设置的存储时间内转储至OBS的日志,不会在LTS被删除。
云日志服务应用场景
日志采集与分析
主机和云服务的日志数据,不方便查阅并且会定期清空。云日志服务采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。
合理优化业务性能
网站服务(数据库、网络等)的性能和服务质量是衡量用户满意度的关键指标,通过用户的拥塞记录日志发现站点的性能瓶颈,以提示站点管理者改进网站缓存策略、网络传输策略等,合理优化业务性能。例如:
分析历史网站数据,构建业务网络基准。
及时发现业务性能瓶颈,合理扩容或流量降低。
分析网络流量,优化网络安全策略。
快速定位网络故障
网络质量是业务稳定的基石,将日志上报至云日志服务,确保问题发生时能及时查看、定位问题,助力您快速定位网络故障,进行网络回溯取证。例如:
快速定位问题根源的云服务器,例如带宽过度使用的云服务器。
通过分析访问日志,判断业务是否遭到了攻击、非法盗链和不良请求等,及时定位并解决问题。