检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
pathFile 字符串 索引设置:开启索引后,日志服务默认为pathFile创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入pathFile: xxx。 文件路径,采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。
pathFile 字符串 索引设置:开启索引后,日志服务默认为pathFile创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入pathFile: xxx。 文件路径,采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。
select diff[1] as "文件超过上限问题数" ,case when diff[3] is not null then round(diff[3] - 1 , 2) else '昨日无数据' end as "文件超过上限问题数对比昨天" from (select
LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
json json: FFF xml_to_json 将xml数据转成JSON数据。
函数格式 ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。
测试数据 { "k1": "v1", "k2":"v2", "x1":"v3" , "x5": "v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数,则被过滤的数据被投递到默认的存储目标中。
日志转储 批量修改LTS日志文件转储时区
如果在使用ICAgent收集日志过程中遇到CPU占用较高(例如运行速度变慢/程序崩溃)的情况,请确认您配置的日志采集路径下是否有大量的日志文件,建议您定时清理,以减少ICAgent在收集日志过程中带来的系统资源占用。若还是无法解决,请联系技术支持协助。 父主题: 日志接入
父主题: 使用消费组管理消费数据(邀测)
测试数据 { "content": 123 } 加工规则 e_keep(e_has("content")) 加工结果 content: 123 e_not_has 判断字段是否不存在。
函数示例 示例1:根据测试数据中pro字段的值和目标数据字典,输出新字段protocol。
drop_packed Boolean 否 打包数据后是否删除被打包的原数据,默认为true。 true(默认值):输出结果中删除被打包的原数据。 false:输出结果中不删除被打包的原数据。 返回结果 返回被打包后的日志数据。
topic__: login_failed_event 示例2:根据字段值判断后再提取数据。
array<Object>:数组中的每条Object数据最多300个键值对,转成JSON字符串最大支持长度1024*30个字节,超出部分将被截断。不填入内容时,将立即上报缓存中的数据。不填入内容时,将立即上报缓存中的日志。 用户的日志字段名称不允许包含双下划线(__)。
具体接入方法请参见新增数据投递。 父主题: 使用云服务接入LTS
日志转储 转储到数据仓库 ☆☆☆☆☆ 无 ELK:无法直接将日志转储到数据仓库。 LTS:页面简单配置可以将日志转储到数据仓库。 日志加工 定时SQL作业 ☆☆☆☆☆ 无 ELK:没有定时SQL作业能力。 LTS:可以配置定时SQL作业,将原始日志加工统计为想要的少量日志结果。
查询当前日志文件,检查资源占用是否异常。 cat oss.icAgent.trace| grep 'icagent exit' 若有回显结果,表示资源有异常,请根据实际回显情况排查处理。 若没有回显结果,表示资源使用正常。 查询历史日志文件,检查资源占用是否异常。
云日志服务LTS支持采集的日志类型和文件类型有哪些? 如何在LTS页面关闭CCE标准输出日志采集到AOM? 使用ICAgent采集日志时,推荐的日志轮转方案是什么? 是否支持Log4j插件上报日志到LTS? LTS配置日志接入后多久有日志?
在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/03 02-41-26。 Unix时间戳,例如1559500886。