检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大小轮转。 按时间轮转:在进行轮转日志时,以时间为标准,当日志出现的时间满足设定的时间阈值时,则进行日志轮转。类似的典型用法有:/var/log/messages 日志即按每7天轮转一次的规则进行日志切分。 按日志大小轮转:在进行轮转日志时,以日志大小为标准,当日志的大小满足设定
OBS转储时区表 名称 Name id timezone 国际日期变更线西 International Date Line West Etc/GMT+12 UTC-12:00 协调世界时-11 Coordinated Universal Time-11 Etc/GMT+11 UTC-11:00
间事件(event-time)和处理事件(processing-time)语义)。 Flink 的系统日志通常包含了关于 Flink 运行时的各种信息,如任务执行情况、错误信息、资源使用情况等。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志 {
将字符串格式的IP地址转换成长整型数据。 函数格式 ip2long(value,default=0) 参数说明 参数名称 参数类型 是否必填 说明 value String 是 需要被转换的值。 default String 否 某个不合法的IP地址被转换成的值。 返回结果 转换后的长整型数据。
任意(自动转为String) 否 合并时元素之间的合并标识,默认为# sep 任意(自动转为String) 否 合并后元素之间的分隔符,仅支持单个字符,默认为, quote 任意(自动转为String) 否 将合并后的元素括起来的字符,当值包含分隔符时需要使用,默认为" lparse 任意(自动转为String)
LTS SDK接入错误码 当您使用LTS SDK报错时,请参见表1进行处理。 表1 错误码 状态码 错误码 错误信息 描述 处理措施 参数类错误(LTS.00XX) LTS.0001 %@ is null. 参数%@为空。 请设置非空的参数后重试。 LTS.0002 %@ is invalid
个日志流只能配置一个转储OBS任务。 不涉及。 转储周期 2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 不涉及。 每次转储数据大小 0MB-2GB。 不涉及。 转储速率阈值 转储速率上限为为100 MB/s。超过限制时,可能会转储失败。 不涉及。 转储条件已触发,待转储成功时会有时间延迟。
据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。
关键词搜索为1个,SQL分析个数为1-3个。 不涉及。 查询时间范围 关键词告警:每条查询语句的查询时间跨度不能超过1小时。 不涉及。 SQL告警:每条查询语句的查询时间跨度不能超过24小时。 不涉及。 查询和分析操作一般性限制 查询和分析操作的限制项,关键词告警请参见搜索语法。SQL告警请参见SQL查询语法。
切换告警规则状态 功能介绍 该接口用于告警规则的启动与停止 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/lts/alarms/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获
mills_to_timestamp函数 将UNIX时间戳转换为日期和时间表达式。 from_unixtime函数 将UNIX时间戳转换为日期和时间表达式。与mills_to_timestamp函数用法一致。 to_iso8601函数 将日期类型或时间戳类型的日期时间表达式转换为ISO8601格式的日期时间表达式。
cene的开源、分布式、RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的数据处理管道,能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。 Kibana是一个开源的分析和可视化平台,用于数据的可视化、仪表盘创
Nginx配置规则(使用分隔符结构化时需要)。 tag_fields 是 Array of TagField objects tag字段列表(使用tag字段解析时需要,其中系统模板不支持使用tag字段)。 最大个数:200 rule 否 StructRule object 结构化方式 表4 DemoFields
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
Bool 否 解析字段的值不是合法的JSON格式时,是否严格限制加工。 默认值false。 false:忽略报错,数据加工继续处理,返回default定义的值。 true:直接报错,数据加工不再继续处理,直接丢弃该条日志。 返回结果 返回转换后的JSON对象。 函数示例 示例1:提取content字段的JSON值。
析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉
析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉
是否必填 说明 value String 是 被编码的值。 plus Boolean 否 是否将空格转换为加号,默认为false。 true:将空格转换为加号。 false:不转换空格为加号。 返回结果 返回编码后的字符串。 函数示例 示例1:对数据进行URL编码。 测试数据 {
视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换 日期时间偏移 父主题: 日志加工(邀测)