检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换 日期时间偏移 父主题: 日志加工(邀测)
表示long类型字段。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 支持显示当前字段的采样数量。 单击即可查看一键生成的图表展示,string类型的字段支持展示字段分布值统计和智能聚合时间折线图,long和float数值类型的字段只支持展示智能聚合时间折线图。单击图表即可进入详情页面。
示字段值的分布和变化趋势。更多信息请参见可视化。 二次分析 快速分析功能支持对float类型和long类型的字段进行二次分析,具体如下: 快速统计最大项、最小项、平均值和总和,分别单击目标字段下的Max、Min、Avg、Sum,快速查找所有项中的最大项、最小项、平均值和总和。 父主题:
ts必须是整数。返回值的类型由expr的类型决定。如果没有指定digits,则使用默认值0。如果digits是负数,则返回expr四舍五入后的整数。当expr是非数字值时,会被转换为数字0。如果expr是无限位数的数字,则被转换为最接近的DOUBLE类型的有限位数数字。 SELECT
返回纪元以来的秒值unix)、SECOND(当前分钟的秒值)、MINUTE(当前小时中的分钟值)、HOUR(当天的小时值)、DAY(当月的天数)、DOW(当前周的天数)、DOY(当前年的天数)、WEEK(当前年的周数)、MONTH(当前的月数)、QUARTER(当年的季度)或YE
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
IPV4_MATCH函数,如果address属于subnet的子网ip,则返回true,否则返回false。如果address不是有效的IPv4地址,则返回false。如果address 是整数而不是字符串,则此函数具有更高的执行效率。 字段样例 Ipv4: 192.168.1.18 查询和分析语句 select IPV4
完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 ICAgent结构化解析规则 日志接入前,您需要提前了解ICAgent采集的结构化解析规则,方便快速操作。支持组合解析,一个日志流的每个采集配
year(s)、month(s)、day(s)等参数的后面都带有s,表示这些参数可以有两种形式,即year和years,month和months等。以year和years为例,如果参数传递的是year,表示在年份粒度上覆盖为year参数的值;如果传递的是years,表示在年份粒度上增加years参数的值。同时要一起组
费。每个月有一定的免费额度。 免费额度是按照华为账号级别提供的,即主账号下云日志服务的所有日志组共享免费额度。 欠费影响 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
态等。 IIS日志的字段通常包括: 日期和时间:记录请求发生的具体日期和时间。 客户端IP地址:发起请求的客户端的IP地址。 用户名:如果请求是通过身份验证的,这里会显示用户名;否则可能是“-”。 请求方法:如GET、POST等。 请求的资源:请求的URL路径。 协议版本:如HTTP/1
字段操作函数 本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
全局操作函数 否 默认的全局操作函数或其组合。没有条件满足时执行该操作。 返回结果 返回加工处理后的日志。 函数示例 如果content字段的值为123,则将__topic__字段的值设置为Number。如果data字段的值为123,则将__topic__字段的值设置为PRO。 测试数据
减小查询时间范围后,再进行查询。 查询日志时匹配到的日志结果过多 可能原因:只有短语搜索#"value"才能保证关键词出现的顺序。例如查询语句abc def搜索的是同时包含abc和def的日志,无法准确匹配包含短语abc def的日志。 解决方法:推荐采用短语搜索#"abc def",可以准确匹配包含短语abc
业海量运维的自动化能力和效率。 AOM1.0与LTS关系 AOM1.0提供日志管理功能,该功能后台依赖LTS,日志相关的计费话单也是报给LTS。随着产品的发展,AOM1.0中的日志管理功能不再推荐使用。由于现在还有有大量存量用户将CCE日志采集到AOM,正在逐步引导客户将日志直接
采集路径支持模糊匹配,匹配目录或文件名中的任何字符。示例:/var/logs/*/a.log、/var/logs/service/a*.log。 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。
持和其他函数组合使用。 e_match 判断当前日志字段的值是否满足正则表达式。支持和其他函数组合使用。 e_match_any 判断当前日志字段的值是否满足正则表达式,任意字段匹配返回true,否则返回false。 e_match_all 判断当前日志字段的值是否满足正则表达式
string 必填 - 华为云账号的项目ID。 groupId string 必填 - LTS的日志组ID。 streamId string 必填 - LTS的日志流ID。 accessKey string 必填 - 华为云账号的访问密钥,简称AK。注意:认证用的华为云账号AK、SK硬编码
时间字段 时间字段类型 云日志服务的保留字段__time__:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。 日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳
Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生syslog消息,用以记录用户的登录、防火墙事件、apache或者nginx