检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4"
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
dt_parsetimestamp智能转换函数,可以将日期时间对象或日期时间字符串转换为Unix时间戳。 dt_totimestamp专用函数,只支持将日期时间对象转换为Unix时间戳。 Unix时间戳转为日期时间对象。 dt_parse智能转换函数,可以将Unix时间戳或日期时间字符串转换为日期时间对象。
串值类型转化为日期时间对象类型。您也可以直接使用dt_parsetimestamp函数,它既能接收日期时间对象,也能接收字符串。 示例如下所示: 原始日志 { "time1":"2019-09-17 9:00:00" } 加工规则:将time1表示的日期时间转化为Unix时间戳。
处理函数 dt_str智能转换函数,可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智能转换函数,可以将日期时间字符串或日期时间对象转换为Unix时间戳。
志的字段。 转换时间字段格式的方式: 将__time转化成时间戳 将__time以指定格式打印 将日志中的时间转换成指定格式 将__time转化成时间戳 使用from_unixtime函数将__time字段,从UNIX时间戳转化为timestamp类型的日期和时间表达式。 * |
SQL时间函数 功能描述 时间函数可以与__time一起使用,任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数,或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下,时间操作使用UTC时区,您可以通过参数"timezone"设
通过LTS仪表盘可视化ELB日志分析结果 当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考日志结构化概述。
存储在LTS的日志是否可以用于安全合规审计? 存储在云日志服务LTS的日志可以用于安全合规审计。日志上报到LTS后,LTS不支持修改日志,防止日志被篡改。因此,用户可以将日志长期存储在LTS,随时查询用于安全合规审计场景。 如果使用日志组的日志存储时间,请参考管理日志组修改日志存
日志转储至OBS 对象存储服务 OBS提供日志存储功能;您可以将日志转储至OBS,并在OBS控制台下载日志文件。支持将日志周期性或一次性的转储至对象存储服务(OBS)中长期保存。 创建日志转储(周期性) 创建日志转储(一次性) 前提条件 日志已接入LTS。详细请参考日志接入。 已创建OBS桶。详细请参考创建桶。
name:for example example str_title: For Exampl str_capitalize 将字符串的第一个字母转化为大写,其他字母转化为小写。 函数格式 str_capitalize(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String)
影响转储后的日志。 在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 选择转储到DIS服务、DMS服务、DWS服务、DLI服务也是一样的操作。 父主题: 日志转储
选择时间范围,参考SQL分析语法介绍输入SQL语句,单击“查询”,在下方区域通过不同类型图表展示搜索结果。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:
场景五:使用default传参为日志不存在的字段填充默认值 场景六:使用e_if函数或e_switch函数判断日志并增加字段 场景七:数据转化纳秒级的Unix时间戳 场景八:数据转化微秒级标准 ISO8601 时间戳 父主题: 日志加工(邀测)
日志转储至DIS DIS提供丰富的大数据分析能力,可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。
当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。 搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。
值,默认值为None。 type String 否 数据输出时的数据格式。 auto(默认值):将原始值转化为JSON格式。如果转换失败则返回原始值。 JSON:将原始值转化为JSON格式。如果转换失败则返回default参数的值。 raw:返回原始值。 返回结果 根据参数配置,返回JSON格式数据或者原始值。
str_upper 将字符串中所有小写字符转换为大写字符。 str_title 将所有单词的第一个字母转化为大写,其余字母均为小写。 str_capitalize 将字符串的第一个字母转化为大写,其他字母转化为小写。 str_swapcase 对字符串的大小写字母进行转换。 查找判断 str_count
日志转储至DMS 分布式消息服务 DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。 前提条件 日志已接入LTS。 已购买DMS。DMS存储独立收费,收费详情请参见:华为云定价 在注册DMS Kafka实例前,需在安全组中,开放入方向规则198.19.128
并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日志、访问日志等接入不同的日志流,查询日志时可以进入对应的日志流快速查看日志。支持按照业务需求对不同的日志流添加对应的标签,方便运维人员管理业务。 1个日志组中最多可以创建100个日志流,如果无法创建日志流,建议删除不再