检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析Nginx日志 Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source":"192
默认按照秒级时间从最新开始展示。 不涉及。 模糊查询 在查询语句单个词长度小于255字符 星号(*)或问号(?)不能用在词的开头。 long数据类型和double数据类型不支持使用星号(*)或问号(?)进行模糊查询 不涉及。 搜索时间范围 单次搜索,时间跨度默认不超过30天。 如您有更大的使用需求,请提交工单申请。
是否必选 参数类型 描述 log_transfer_id 是 String 日志转储ID。获取ID有3种方式: 1. 调用查询日志转储接口,返回值有日志转储ID 2. 调用新增日志转储接口,返回值有日志转储ID 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
"request_id" : "b16cc9d789f34cd5196d8df065341788" } 状态码: 500 表示服务后端已经接收到请求,但服务内部处理错误 { "highLightFields" : { }, "errorCode" : "LTS.0203", "errorMessage"
云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。 海量日志存储搜索
"produce_case", "id": 7890, "content": "this is a log test" }] 加工规则:丢弃没有topic字段和receive_time字段的日志。 e_if(e_not_has("topic"),e_drop()) e_if(e_not_has("receive_time")
算、存储和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。 云日志服务支持日志采集向导一站式采集DMS重平衡日志,支持多维度分析,并为DMS-Rebalance日志配置结构化和仪表盘。
自定义行动规则的描述,字符长度0-1024个字符。 主题 SMN主题,请从下拉列表中选择。 若没有合适的主题,请单击主题选择栏下方“创建主题”,在SMN界面创建。 消息模板 通知消息的模板,请从下拉列表中选择。 若没有合适的消息模板,请单击消息模板选择栏右侧“创建消息模板”,新建消息模板,操作详见创建消息模板。
Results:[{"EndTime":1626314520},{"FireResult":2}] 查询和分析语句 SELECT json_extract(Results, '$.[0].EndTime') 查询和分析结果 表2 查询和分析结果 EXPR$0 1626314520 json_extract_scalar函数
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险, 建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全; 本示例以ak和sk保存在环境变量中为例, 运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK
文本解析 解析Nginx日志 提取字符串动态键值对 父主题: 日志加工(邀测)
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据,比如统计1天内所
error_code String 错误码 error_msg String 错误描述 请求示例 创建主机组,host_group_name和host_group_type为必填参数 POST https://{endpoint}/v3/{project_id}/lts/host-group
集团公司的安全合规部门有统一收集日志的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,用于应对不同国家和地区的安全合规审计要求。 集团公司的运营部门也可能出于运营分析的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 设置云端结构化模板 父主题: 日志搜索与分析(默认推荐)
提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。云日志服务进行分析日志、搜索日志、日志可视化、下载日志和查看实时日志等操作。 云日志服务支持日志采集向导一站式采集DDS日志,DDS审计日志中心展示审计日志条数、访问用户数、访问客户端数等图表。
查询日志直方图 功能介绍 查询关键词搜索条数该接口用于查询日志在某一时间段内,包含关键词的日志上报情况和日志条数统计结果。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/keyword-count 表1 路径参数 参数 是否必选 参数类型
收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 云日志服务支持日志采集向导一站式采集DCS日志,DCS审计日志中心仪表盘支持展示访问用户数、访问客户端数、审计日志条数等图表。 前提条件 日志配置结构化,详情请参见设置云端结构化解析日志。 DCS审计日志中心
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题: 日志搜索与分析(管道符方式-邀测)
SQL聚合函数 聚合函数是对结构化后的日志的指定列进行的统计运算。聚合函数返回的是单个值,经常与SELECT语句和GROUP BY语句一起使用。LTS支持如下表格所示聚合函数,具体请参考表1。 在聚合函数的使用中请注意以下几点: 聚合函数可用在任何查询的SELECT子句中。您可以使用如AGG(expr)