IP解析函数 本文介绍IP解析函数的语法规则,包括参数解释、函数示例等。 函数 说明 geo_parse 根据IP地址解析出所属国家、省份和市信息 ip_cidrmatch 判断IP地址是否属于CIDR地址块 ip_version 判断IP地址为IPv4还是IPv6 ip_type
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
解析User-Agent中的浏览器信息。 ua_parse_all 解析User-Agent中所有信息。 url_parse 解析URL的组成部分。 url_parse_qs 解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段,例如解析的设备数据为{'brand': None
接口调用示例 本节通过调用LTS的API创建日志组。 通过IAM获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
解析Nginx日志 Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source":"192
_字段。 开启“保留原始日志” 关闭“上传解析失败日志” 解析成功:上报解析后日志和原始日志content字段。 解析失败:上报原始日志content字段。 关闭“保留原始日志” 开启“上传解析失败日志” 解析成功:上报解析后日志。 解析失败:上报_content_parse_fail_字段。
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
_字段。 开启“保留原始日志” 关闭“上传解析失败日志” 解析成功:上报解析后日志和原始日志content字段。 解析失败:上报原始日志content字段。 关闭“保留原始日志” 开启“上传解析失败日志” 解析成功:上报解析后日志。 解析失败:上报_content_parse_fail_字段。
设置云端结构化解析日志 设置日志云端结构化解析 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 设置云端结构化模板 父主题: 日志搜索与分析(SQL分析方式)
设置云端结构化解析日志(不推荐) 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题: 日志搜索与分析(管道符方式-邀测)
_字段。 开启“上传原始日志” 关闭“上传解析失败日志” 解析成功:上报解析后日志和原始日志content字段。 解析失败:上报原始日志content字段。 关闭“上传原始日志” 开启“上传解析失败日志” 解析成功:上报解析后日志。 解析失败:上报_content_parse_fail_字段。
上报日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 关于上报日志的约束与限制请参考日志读写限制。 URI POST /v2/{project_id}/lt
gContent、logContentSize、collectTime。 日志提取字段和tag字段可以同时设置。 父主题: 设置云端结构化解析日志
字段名称为json日志中的key。 否 否 CTS APIG模板 根据APIG资料中提供的日志字段被定义。 否 否 APIG DCS审计日志 根据DCS资料中提供的日志字段被定义。 否 否 DCS_AUDIT TOMCAT 根据TOMCAT官网提供的字段名称进行nginx解析的名称。 否 否 TOMCAT
字段名称为json日志中的key。 否 否 CTS APIG模板 根据APIG资料中提供的日志字段被定义。 否 否 APIG DCS审计日志 根据DCS资料中提供的日志字段被定义。 否 否 DCS_AUDIT TOMCAT 根据TOMCAT官网提供的字段名称进行nginx解析的名称。 否 否 TOMCAT
"v3", "content": "k1:\"v1\\\"abc\", k2:\"v2\", k3: \"v3\"" } 父主题: 文本解析
单击目标日志组或日志流名称,进入日志流详情页面。 在“日志搜索”页面,单击右上角或日志设置,在弹出页面中,选择“云端结构化解析”,详细请参考设置日志云端结构化解析。 仅在华北-乌兰察布一、华东-上海一、中国-香港、亚太-新加坡区域时显示“日志设置”,其他局点还是。 配置完成后,开启自定义日志时间开关,配置如下参数。
"item", "login_histories") 总结:针对以上类似的需求,首先进行分裂,然后再做展开操作,最后删除无关信息。 父主题: 文本解析
单击目标日志组或日志流名称,进入日志流详情页面。 在“日志搜索”页面,单击右上角或日志设置,在弹出页面中,选择“云端结构化解析”,详细请参考设置日志云端结构化解析。 仅在华北-乌兰察布一、华东-上海一、中国-香港、亚太-新加坡区域时显示“日志设置”,其他局点还是。 配置完成后,开启自定义日志时间开关,配置如下参数。
您即将访问非华为云网站,请注意账号财产安全