检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在LTS页面分析华为云WAF日志 在LTS页面分析Log4j格式的应用运行日志 将LTS日志查询页面嵌入用户自建系统 分页显示查询分析结果 使用时间函数将日志时间字段转换为指定格式
日志计费 通过日志流标签统计不同部门在LTS的费用开销
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。 目前此功能仅支持华北-乌兰察布二零一、华北-乌兰察布二零二、华北-北京四、华北-北京一、华东-上海二、华南-广州、中国-香港、亚太-新加坡、华东-上海一局点,其他局点需要给DIS服务提交工单申请开通才能使用。详细操作请参考提交工单。
选择模板后,“模板详情”中会自动显示对应的日志解析结果。 结构化配置时,如果使用系统模板,则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板,方便用户快速查询模板信息。 string类型的字段不支持使用运算符(>=<)或 in 语法进行范围查询,建议使用星号(*)或问号(?)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。
选择模板后,“模板详情”中会自动显示对应的日志解析结果。 结构化配置时,如果使用系统模板,则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板,方便用户快速查询模板信息。 string类型的字段不支持使用运算符(>=<)或 in 语法进行范围查询,建议使用星号(*)或问号(?)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。
设置LTS日志内容分词 通过配置分词可将日志内容按照分词符切分为多个单词,在日志搜索时可使用切分后的单词进行搜索。初次使用时,LTS已默认进行了分词配置,默认配置的分词符为: , '";=()[]{}@&<>/:\\?\n\t\r 若默认分词符不能满足您的需求时,可按照如下操作进行自定义配置。
日志管理概述 云日志服务LTS是以日志组和日志流为基本单位进行日志管理。使用云日志服务LTS之前,请先创建日志组和日志流。创建日志组后,可以在该日志组下方创建多个日志流,方便对日志做进一步分类管理。创建日志流后,您可以将日志数据采集保存到日志流上,通过日志流对日志数据进行搜索分析
值提取 关键字加工 值加工 e_kv 使用特定正则表达式 支持默认的字符集、特定分隔符或者带(、)或(")分隔 支持前后缀 支持文本escape e_kv_delimit 使用特定正则表达式 使用分隔符 支持前后缀 默认无 e_regex 组合自定义正则表达式和默认字符集过滤 完全自定义
按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费云日志服务的计费规则。 适用场景 云日志服务采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。 适用计费项 按照用户实际使用的日志读写流量
取值以及说明。请参考DSL加工(邀测)创建加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空
如果未指定基数,则基于十进制对原始字符串进行转换。 split函数 使用指定的分隔符拆分字符串,并返回子字符串的集合。如果设置了limit,则使用limit限制拆分字符串的数量。 split_part函数 使用指定的分隔符拆分字符串,并返回指定位置的字符串。如果拆分后指定的位置超过数组的长度,则返回“”。
创建结构化配置(推荐) 功能介绍 该接口通过结构化模板创建结构化配置,便于参数提取且简化参数结构,推荐您使用。 单个用户每秒仅能调用1次该接口。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lts/struct/template 表1 路径参数
是否支持Log4j插件上报日志到LTS? LTS不支持log4j插件上报日志到LTS,原因如下: 目前Log4j官网已经不再提供Log4j的后期维护,推荐用户使用Log4j2,支持Log4j2插件上报日志到LTS。 因为Log4j存在巨大的安全隐患,所以不再提供Log4j的日志采集能力。 父主题: 日志接入
regex_rules 否 String 正则表达式(使用正则结构化规则时候需要)。 最大长度:5000 layers 否 Integer 最大解析层数(使用JSON方式结构化需要)。 最大值:3 tokenizer 否 String 分隔符(使用分隔符结构化时需要)。 log_format
如果内容较多,规则会相对冗长。且静态不灵活。 从任务配置资源构建 内容较多且经常修改时推荐使用,易于维护。 不易于扩展和跨任务复用,不支持自动刷新。 从表格构建 高级场景下使用,维护机制更灵活。 需要构建和维护对应的表格,过程相对繁琐。 从字典函数构建 基于逻辑动态构建字典,特定场景下适用。
操作系统限制 LTS日志采集支持多个操作系统,在购买主机时您需选择LTS支持的操作系统,否则无法使用LTS对主机日志进行采集。 对于Linux x86_64服务器,LTS支持上表中所有的操作系统及版本。 对于Linux ARM服务器,CentOS操作系统仅支持7.4 及其以上版本
e_not_has 判断日志字段是否不存在。支持和其他函数组合使用。 表达式函数 e_search 提供一种简化,类似Lucene语法的事件搜索方式。支持和其他函数组合使用。 e_match 判断当前日志字段的值是否满足正则表达式。支持和其他函数组合使用。 e_match_any 判断当前日志字段
广州局点的内测用户使用,其他局点暂不支持。 背景信息 用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点: 用户有多条日志流需要转换成不同的日志流结构,一个函数只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志