检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志接入云日志服务后,每隔大约1分钟上报一次。因此,在实时日志页面,您最多需要等待1分钟左右,即可查看实时上报的日志,实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时,LTS会清空前500KB的日志,保留最新的500KB日志。 若实时日志未超过1MB,但
如果没有开通管道符方式,需要使用SQL日志分析功能,请开启“日志分析”。 图1 日志分析 “日志分析”功能即将下线,建议直接使用管道符方式进行分析,详细请参考日志搜索与分析(管道符方式-邀测)。 开通管道符方式后,新建的日志流在索引配置页面不显示“日志分析”开关。 配置字段索引 创建字段索引时,最多支持添加
或单击目标作业名称,进入定时SQL任务的基本信息页面中,单击右上角“删除”。 在弹出的页面中,单击“确定”可删除定时SQL任务。 父主题: 日志消费与加工
搜索日志 LTS搜索语法介绍 创建LTS快速分析 保存LTS快速查询日志条件 父主题: 日志搜索与分析(管道符方式-邀测)
String 是 IP地址。 default String 否 如果IP地址与CIDR地址块无法匹配时,返回该值。 返回结果 当IP地址属于CIDR地址块时,返回true,否则返回false。 函数示例 ipv4地址与CIDR地址块匹配。 测试数据 { "subnet": "192.168
日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
timezone_hour函数 计算系统时区和utc时区的小时偏移量。如果提供了时区,则计算系统时区与给定时区的偏移量。 timezone_minute函数 计算系统时区和utc时区的分钟偏移量。如果提供了时区,则计算系统时区与给定时区的偏移量。 time_format函数 将时间戳类型的日期和时间表达式转换为指定格式的日期和时间表达式。
电话号码函数 本文介绍电话号码函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 电话号码函数 函数 描述 mobile_carrier函数 分析电话号码所属的运营商。 mobile_city函数 分析电话号码所属的城市。 mobile_province函数 分析电话号码所属的省份。
SQL查询样例 本章以ELB日志为例进行介绍,对LTS中的ELB原始日志进行查询,具体查询步骤如下。 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,单击目标日志组和日志流名称,进入日志详情页面。 系统获取ELB原始日志,在日志搜索页面查看具体日志。 单击右上角,在弹出页面中,选择“云端结构化解析”。
保存LTS快速查询日志条件 当您需要重复使用某一关键字搜索日志时,可以将其设置为快速查询语句,通过保存的快速查询语句,可实现对日志的快速执行查询和分析操作。 保存LTS快速查询日志条件 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。
特定结构化数据函数 本文介绍特定结构化数据函数的语法规则,包括参数解释、函数示例等。 类型 函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。 json_parse 将值解析为JSON对象。 XML xml_to_json 将xml数据转成JSON数据。
and 与运算符,如果多个关键词之间没有语法关键词,默认为and关系。 and作为运算符使用时前后需要使用空格分隔。例如 1 and 2 代表搜索同时包含1 和2的日志;1and2代表搜索包含词语1and2的日志。 GET 200等同于GET and 200 AND 与运算符,等同于and。
创建DSL加工任务 DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。
value2) 参数说明 参数名称 参数类型 是否必填 说明 value1 任意 是 运算值1。 value2 必须与值1相同 是 运算值2。 返回结果 如果值1与值2相等返回true,否则返回false。 函数示例 示例1: 测试数据 { "content": "hello"
变为普通字符。详细请参见搜索语法。例如and为语法关键词,查询语句field:and需要修改为field:"and"。 父主题: 日志搜索与分析
0表示昨天同时段(例如2021-01-01 00:00:00~2021-01-01 01:00:00)的网站访问量。 0.999表示当前1小时与昨天同时段的网站访问量比值。 图1 查询和分析结果 分列显示查询和分析结果。 SELECT diff[1] as "today", diff[2]
e_match_all 判断当前日志字段的值是否满足正则表达式,所有字段匹配返回true,否则返回false。 同时,事件检查函数可以与如下表达式函数配合使用: 类型 函数 说明 基本判断 op_and 逻辑and运算。 op_or 逻辑or运算。 op_not 逻辑not运算。
本文介绍映射富化函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射,根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射,根据输入的字段名称返回字段值。支持和其他函数组合使用。 搜索映射 e_search_dict_map
字段操作函数 本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
依次调用操作,将日志传递转换并返回最后的日志。 对于某一条日志,如果其中某一操作删除了日志,则不会再执行后续操作。 支持和其他函数组合使用。 e_if 条件与操作组合。 满足条件则进行对应操作,不满足条件则不进行对应操作,直接进行下一个条件判断。 对于某一条日志,如果其中某一操作删除了日志,则不会再执行后续操作。