检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
twiss 更多参考 支持其他它函数组合使用。 e_keep_fields 调用e_keep_fields函数保留符合条件的日志字段。 日志服务中包含内置的元字段,例如__time__、__topic__等。如果在调用e_keep_fields函数时没有保留__time__字段,则
不做投递处理。若不设置default参数,则表示不满足规则日志都会被投递到配置的第一个Logstream中。 output的加工结果不会显示到加工结果框中。 测试数据 { "__topic__": "sas-log-dns" , "test": "aa" , "__topic__":
"details" : "The log stream does not existed" } } 状态码: 500 表明服务端能被请求访问到,但是服务内部出错 { "message" : { "code" : "LTS.0203", "details" :
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
在LTS页面升级ICAgent失败怎么办? 因为ICAgent安装是覆盖式安装,无需先卸载,因此在LTS页面升级ICAgent失败时,重新执行安装命令再次进行升级ICAgent即可。详细请参考安装ICAgent。 父主题: 主机管理
短语搜索不支持模糊搜索。 #"abc def"表示在所有日志中查找包含目标短语abc def 的日志。 分词符 云日志服务LTS会根据分词符,将日志内容拆分成多个词。日志服务默认配置的分词符为, '";=()[]{}@&<>/:\\?\n\t\r。 例如:日志2023-01-01 09
操作符函数 本文介绍操作符函数的语法规则,包括参数解释、函数示例等。 函数列表 如果值为负数,请使用op_neg(positive value)函数,例如:您要表示-1,请使用op_neg(1)。 表1 操作符函数列表 类型 函数 说明 条件判断函数 op_if 根据判断条件返回不同表达式的值。
云日志服务LTS会根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 选择转储到DIS服务、DMS
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工,常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下: 方案 关键字提取 值提取
日期和时间函数 本文介绍日期、时间函数的语法规则,包括参数解释、函数示例等。管道符特性处理的日期和时间格式为yyyy-MM-dd HH:mm:ss.SSS。 函数列表 表1 日期和时间函数 函数 描述 current_timestamp函数 返回当前日期和时间,格式为yyyy-MM-dd
电话号码函数 本文介绍电话号码函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 电话号码函数 函数 描述 mobile_carrier函数 分析电话号码所属的运营商。 mobile_city函数 分析电话号码所属的城市。 mobile_province函数 分析电话号码所属的省份。
SQL JSON函数 功能描述 JSON函数用于解析JSON对象或JSON数组,并从中提取值。 语法格式 SELECT json_extract(Results, '$.[0].EndTime') JSON函数语句 表1 JSON函数语句 语句 说明 示例 返回值类型 json_extract
语法 select key from t1 LEFT|RIGHT|INNER JOIN t2 on t1.key=t2.key 当前日志服务支持LEFT JOIN、RIGHT JOIN和INNER JOIN三种JOIN子句方式。具体功能如下: 表1 JOIN方式 说明 LEFT
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
聚合函数 本文介绍聚合函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 聚合函数 函数 描述 approx_distinct函数 用于估算x中不重复值的个数。 approx_percentile函数 用于对x进行正序排列,返回处于percentage位置的数值。 arbitrary函数
窗口函数 本文介绍窗口函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 窗口函数 函数 描述 ntile函数 用于将窗口分区内数据按照顺序分成N组。 ntile函数 用于将窗口分区内数据按照顺序分成N组。 语法: ntile(n) over ( [partition
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
列表函数 本文介绍列表函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 lst_make 构建列表。 lst_insert 在列表特定位置插入元素。 lst_append 在列表结尾追加元素。 lst_delete_at 在列表特定位置删除元素。 lst_reverse
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)