日志分析功能
多种结构化拆分和模板
日志分析需要将数据进行结构化分析,结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与日志分析。
标准SQL查询语法
LTS支持使用SQL语句(其中包括了聚合函数和数学函数)对结构化后的日志进行日志分析查询。例如,使用MIN函数计算num列中的最小值。
新版SQL查询功能是原有功能的升级版本,功能更强大。
多样式图表和Dashboard
仪表盘能够在云日志服务中实现实时日志分析,SQL语句查询分析出的日志结果可由多种图表表示,并能将多张统计图表同步保存到仪表盘中。
云日志服务提供内置的仪表盘模板,有APIG仪表盘模板、DCS仪表盘模板、DDS仪表盘模板、ELB仪表盘模板、NGINX仪表盘模板和CFW仪表盘模板。
日志实时告警
云日志服务结合应用运维管理(Application Operations Management,简称AOM),支持对存储在云日志服务中的日志数据进行关键词统计,通过在一定时间段内日志中关键字出现次数,实时监控服务运行状态从而实现日志分析。
日志分析使用限制
日志采集到搜索时延
从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)
关键词个数
关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。
操作并发数
您在1个华为云账号下支持的最大查询操作并发数为200个。
查询结果排序
默认按照秒级时间从最新开始展示。
模糊查询
在查询语句单个词长度小于255字符,星号(*)或问号(?)不能用在词的开头。long数据类型和double数据类型不支持使用星号(*)或问号(?)进行模糊查询
操作并发数
您在1个华为云账号下日志分析并发数为15个。
数据量
日志分析单个日志流单次最大分析24GB数据。
数据生效机制
日志分析的日志结构化只对新增结构化配置之后写入的数据生效。
字段值大小
日志分析的结构化字段最大大小为16KB,超过部分不参与分析。
超时时间
日志分析操作的最大超时时间为60秒。
IP函数时效性
IP函数是可以通过日志分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。
云日志服务应用场景
日志采集与分析
主机和云服务的日志数据,不方便查阅并且会定期清空。云日志服务采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行日志分析查询,并且可以长期存储。对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于实时日志分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志分析,可以输出详细的运营数据。
合理优化业务性能
网站服务(数据库、网络等)的性能和服务质量是衡量用户满意度的关键指标,通过用户的拥塞记录日志分析发现站点的性能瓶颈,以提示站点管理者改进网站缓存策略、网络传输策略等,合理优化业务性能。例如:
日志分析历史网站数据,构建业务网络基准。
及时发现业务性能瓶颈,合理扩容或流量降级。
日志分析网络流量,优化网络安全策略。
快速定位网络故障
网络质量是业务稳定的基石,将日志上报至云日志服务,确保问题发生时能及时进行日志分析、定位问题,助力您快速定位网络故障,进行网络回溯取证。例如:
快速定位问题根源的云服务器,例如带宽过度使用的云服务器。
通过日志分析,判断业务是否遭到了攻击、非法盗链和不良请求等,及时定位并解决问题。
云日志服务日志分析视频帮助
结构化配置
仪表盘配置
日志接入
日志告警