检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景六:使用e_if函数或e_switch函数判断日志并增加字段 推荐使用e_if函数或e_switch函数进行日志判断。更多信息,请参见流程控制函数。 e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_sw
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么
场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志 { "data": {"k1": "v1", "k2": {"k3": "v3"
String或者String List 是 一个字段名或者多个字段名的列表。多个字段时: 依次对匹配到的值进行映射。 如果匹配命中多条日志,且mode的取值为overwrite时,则最后一个会覆盖前面的结果。 当没有匹配到任何字段,则使用missing参数的值作为匹配值。 output_field String
String、JSON 是 传入待提取字段的JSON表达式或字段。 jmes String 是 JMES表达式,表示提取的字段。 default String 否 如果提取字段不存在,则返回此处设置的值。默认为None,表示不返回字段。 restrict Bool 否 提取字段的值不是合法的JSON格式时,是否严格限制加工。
"时取该字段。 DAILY:最小值:0,最大值:23 WEEKLY:最小值:0,最大值:23 day_of_week 否 Integer 当字段type为"WEEKLY"时取该字段(周日~周六)。 最小值:1 最大值:7 fixed_rate 否 Integer 当字段type为
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 设置云端结构化模板 父主题: 日志搜索与分析(默认推荐)
拆分成多个词。您可以指定关键字(字段名、字段值)和查询规则进行查询。 hello and world表示查询同时包含关键字hello和world的日志。 字段查询 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询。根据字段索引中设置的数据类型,您可以进行多种类型的基础查询和组合查询。
返回第一个值不为None的表达式的值。 op_coalesce 返回第一个值不为None的表达式的值。 e_has 判断字段是否存在。 函数格式 e_has("key") 参数说明 参数名称 参数类型 是否必填 说明 key String 是 日志的字段名。 返回结果 字段存在返回true,不存在返回false。
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空,且目标字段不存在或者值为空时,设置目标字段。 add
2GB,则以2GB计费。 在字段索引配置功能上线之前,LTS所有字段均支持索引,索引流量等于原始日志流量,字段索引功能上线之后,索引流量和用户的索引配置相关。在用户开启全文索引或者没有进行索引配置的场景下,索引流量等于原始日志流量,如果用户只配置了字段索引,则索引流量只统计开启了字段索引的字段,不再和原始日志流量保持一致。
annotations.results[0].eps_id 查询自定义字段$event.annotations.results[0].fields.xxx xxx表示原始日志的结构化字段和内置字段(hostIP、hostName等),日志字段长度最多1KB,超过1KB被截断丢弃。 SQL告警支持的变量
ICAgent结构化解析功能商用以后恢复对云端结构化解析所有字段的存储、索引及读写流量的收费。 ICAgent结构化解析商用前:LTS服务端支持原始日志content及其结构化字段的存储及搜索等能力,但是免去了结构化字段,即上述ip、status、cost_time、url字段及其value值的存储、索引及读写流量费
议时,返回结果中的scheme字段才会使用此处设置的值。 allow_fragments Boolean 否 是否解析URL中的fragment部分。 true(默认值):解析URL中的fragment部分,返回结果中的fragment字段为具体值。 false:不解析URL中的
到达时间(时间戳) 最小值:13 最大值:13 ends_at Long 告警清除时间(时间戳) 最小值:13 最大值:13 id String 告警id 最小长度:0 最大长度:64 starts_at Long 告警产生时间(时间戳) 最小值:13 最大值:13 timeout
digits)对expr值进行四舍五入,保留小数位数由digits指定。expr可以是整数或浮点数,但digits必须是整数。返回值的类型由expr的类型决定。如果没有指定digits,则使用默认值0。如果digits是负数,则返回expr四舍五入后的整数。当expr是非数字值时,会被转换为
jmes String 否 将字段值转化为JSON对象,并使用JMES提取特定值,再进行分裂操作。 output String 否 设置一个新的字段名,默认覆盖旧字段名。 返回结果 返回日志列表,列表中字段的值都是源列表中的值。 函数示例 测试数据 { "__topic__": ""
NULL 如果x是空值或空白字符串,则返回true。 SELECT str1 IS NULL x IS NOT NULL 如果x既不是空值也不是空白字符串,则返回true。 SELECT str1 IS NOT NULL x IN (values) 如果x为其中一个列举值,则返回true。
自己的需要添加或者删除字段。 单击操作列下的,删除不需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。 内置字段有13个,分别是hostIP、
日志转储至DLI后,在DLI表中查不到新增分区怎么处理? 设置日志转储至DLI后,在DLI表中查不到新增分区,请参考如下方法处理。 方法1:更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”,进入详情页,在编辑框输入命令“MSCK