检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方
云日志服务安装ICAgent后,会对所关联的日志文件进行实时监听。ICAgent侧收到LTS接入页面下发的采集配置后,会定时解析采集配置信息,获取到采集路径后在节点上进行路径匹配,将节点上对应的文件加入监控任务中,通过轮询和inotify感知目标日志文件的变化。 ICAgent侧发现文件变更后,读取文件的内容,分块
报错说明 当参数错误或不匹配时,会有相应的报错提示。 表4 报错说明 报错信息 报错原因 TopicAuthorizationException projectId(项目ID)、accessKey(AK)、accessSecret(SK)参数错误或者不匹配。 UnknownTop
删除。 说明: 删除告警行动规则前需要先删除该行动规则绑定的告警规则。 搜索告警行动规则 在右上角的搜索框中输入规则名称关键字,单击后显示匹配对象。 父主题: 配置日志告警行动规则
创建日志流 功能介绍 该接口用于创建某个指定日志组下的日志流 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/groups/{log_group_id}/streams 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
日志转储至DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。
12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校验”,提示“时间格式和字段value匹配成功”则表示校验成功。 - 常见日志时间格式 常见日志时间格式如下表2。 默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式
析和展示。 前提条件 安装Grafana。 Grafana版本要求使用9.0.0及以上版本。 在Windows中,建议Grafana安装在非系统盘,否则可能会出现没有权限打开Grafana配置文件的情况。 本机上安装Grafana后,在浏览器中输入localhost:3000进行
查询日志直方图 功能介绍 查询关键词搜索条数该接口用于查询日志在某一时间段内,包含关键词的日志上报情况和日志条数统计结果。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/keyword-count 表1 路径参数 参数 是否必选 参数类型
12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校验”,提示“时间格式和字段value匹配成功”则表示校验成功。 - 常见日志时间格式 常见日志时间格式如下表2。 默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式
最小长度:8 最大长度:36 details String 错误描述 最小长度:2 最大长度:512 请求示例 创建仪表盘,group_name为非必填参数。 /v2/2a473356cca5487f8373be891bffc1cf/dashboard { "group_name"
安装ICAgent(区域外主机) 区域外主机指的是华为云非当前Region或非华为云主机,例如自建IDC(Internet Data Center,互联网数据中心)、第三方云厂商或华为云跨Region主机等。如果您想使用云日志服务对区域外主机进行日志采集,那么您需要先保证区域外主
String 日志流ID projectId String 项目ID templateName String 模板名称 regex String 正则表达式 表5 StructFieldInfoReturn 参数 参数类型 描述 fieldName String 字段名称 type String
表达式或其组合。其结果不是布尔值时,会进行真假判断。 操作 全局操作函数 否 全局操作函数或其组合。 返回结果 返回加工处理后的日志。 函数示例 示例1:字段值匹配后再进行操作。 result字段值为failed或failure时,设置__topic__字段的值为login_failed_event。
云日志服务提供实时日志采集功能,采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。
本文介绍云日志服务查询与分析的限制。 搜索 表1 日志搜索限制 限制项 说明 备注 日志采集到搜索时延 从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)。 不涉及。 关键词个数 关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。 如您有更大的使用需求,请提交工单申请。
删除活动告警 功能介绍 该接口用于删除活动告警 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/{domain_id}/lts/alarms/sql-alarm/clear 表1 路径参数 参数 是否必选 参数类型 描述 project_id
在LTS页面分析华为云WAF日志 方案概述 WAF(Web应用防火墙)通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击,所有请求流量经过WAF时,WAF会记录攻击和访问的日志,可实时决策分析、对设备进行运维管理以及业务趋势分析。
创建关键词告警规则 功能介绍 该接口用于创建关键词告警,目前每个账户最多可以创建共200个关键词告警与SQL告警。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/alarms/keywords-alarm-rule 表1 路径参数 参数
结构化类型参数(json、split、nginx、built_in、custom_regex)。 regex_rules 否 String 正则表达式(使用正则结构化规则时候需要)。 最大长度:5000 layers 否 Integer 最大解析层数(使用JSON方式结构化需要)。 最大值:3