检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主机组。 日志结构化解析 ☆☆☆☆ ☆☆☆☆☆ ELK:基于采集器实现自定义日志结构化解析。 LTS:提供结构化解析能力,可以正则表达式、JSON、分隔符、自定义模板等方式解析日志。 日志搜索 关键词搜索、模糊搜索、快速分析 ☆☆☆☆☆ ☆☆☆☆☆ ELK和LTS:提供类似的日志关键词搜索能力。
ical(严重)和verbose(详细)。根据Windows事件等级过滤采集。仅支持Windows Vista及以上的操作系统。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置
ical(严重)和verbose(详细)。根据Windows事件等级过滤采集。仅支持Windows Vista及以上的操作系统。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置
String IC结构化解析类型包括 :SINGLE_LINE 单行全文,MULTI_LINE 多行全文,REGEX 单行正则,MULTI_REGEX 多行正则,SPLIT 分隔符,JSON JSON解析,NGINX nginx解析, COMPOSE组合解析 demo_log 否 String
}。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图3 ICAgent结构化解析配置 其他配置。 表4
持展示字段分布值统计和智能聚合时间折线图,long和float数值类型的字段只支持展示智能聚合时间折线图。单击图表即可进入详情页面。 单击字段分布值统计或智能聚合时间折线图,会自动跳转到可视化界面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见可视化。
String IC结构化解析类型 demo_log String 示例日志 demo_fields Array of DemoFieldAccess objects 示例日志解析字段 processors Array of Processor objects IC结构化解析器 application_id
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据,比如统计1天内所
过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和格式,方便进行搜索与分析。详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 结构化
基于用户配置的日志过滤和统计规则,对日志流执行SQL查询模拟生成的指标结果,依赖用户先将日志采集到LTS,并配置好结构化解析规则和索引配置 ,否则此处预览结果展示为空。 配置日志的统计方式。 日志过滤的规则,设置完成后,支持预览效果。如果您无法在日志过滤和日志统计处选择到想要的日
日志搜索与分析(管道符方式-邀测) 进入搜索LTS日志页面 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 SQL函数
json_parse 将值解析为JSON对象。 函数格式 json_parse(value, default=None, restrict=false) 参数说明 参数 类型 是否必填 说明 value String 是 传入需要被解析的字段。 default String 否 如果解析字段不存在
日志搜索与分析(默认推荐) 日志搜索与分析概述 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 分析LTS日志 SQL分析语法介绍
使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
ServiceStage容器应用日志接入LTS ServiceStage云主机日志接入LTS 自建K8s应用日志接入LTS ICAgent结构化解析规则说明 父主题: 日志接入
单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为CTS系统模板,索引配置时将所有CTS解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对CTS日志进行SQL分析,并提供可视化图表。 单击“提交”。 父主题:
字段值的分布和变化趋势。更多信息请参见可视化。 二次分析 快速分析功能支持对float类型和long类型的字段进行二次分析,具体如下: 快速统计最大项、最小项、平均值和总和,分别单击目标字段下的Max、Min、Avg、Sum,快速查找所有项中的最大项、最小项、平均值和总和。 父主题:
日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为ELB系统模板,索引配置时将所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。 自动为日志流添加标