检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志文件压缩上传到对象存储服务 OBS,通过函数工作流的OBS 触发器获取日志文件压缩包,并实现自动解压、解析日志文件,将日志结果逐行存储到云日志服务 LTS。适用于将业务系统日志上传至云日志服务 LTS进行管理的场景。
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为VPC系统模板,索引配置时将所有VPC解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为APIG系统模板,索引配置时将所有APIG解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对APIG日志进行SQL分析,并提供可视化图表。
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为ELB系统模板,索引配置时将所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。
日志配置结构化,详情请参见设置云端结构化解析日志。 DMS重平衡日志中心 登录云日志服务控制台。 在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“DMS仪表盘模板 > DMS重平衡日志中心”,查看图表详情。
传单二维码 扫描网页二维码登录 实施方法: 定义如下注册服务器地址,生成二维码(传单、网页)供用户注册扫描。用户扫描该页面进行注册时,就可以得知用户是通过特定来源进入的,并记录日志。 http://example.com/login?
日志配置结构化,详情请参见设置云端结构化解析日志。 DDS审计日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DDS仪表盘模板 > DDS审计日志中心”,查看图表详情。
在日志流详情页面,单击,在“云端结构化解析”页面,选择“正则分析”提取方式,根据业务需求选择日志,将日志正文拆分成四个部分:Time1/ThreadName/Level/Message。
前提条件 日志配置结构化,详情请参见设置云端结构化解析日志。 DCS审计日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DCS仪表盘模板 > DCS审计日志中心”,查看图表详情。
对源日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 创建DSL加工任务 登录云日志服务控制台。 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基本信息页面中,完成如下配置后,然后单击“下一步”。
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。
单击右上角,在弹出页面中,选择“云端结构化解析”。 选择结构化模板,根据ELB模板进行结构化配置。其他日志内容可选择其他结构化模板。 在“可视化”页签下输入SQL查询语句对相应的字段进行查询,即可返回所需的日志内容。
华为云账号的SK String 必填 - consumerGroup LTS日志流对应的消费组名称 String 必填 - startTime 消费开始时间,纳秒值 Long 必填 - stopTime 消费结束时间,纳秒值 Long 选填 - jsonParse 是否对原始日志做json解析
转储流量会统计非压缩的转储数据量,以转储DMS流量统计为例: 若用户转储原始日志:LTS会统计转储的原始日志的大小(非压缩),那么统计的转储流量是length("192.168.0.1 200 190 /check")=26字节 若用户转储结构化解析后的日志:LTS会统计转储日志的
在云端结构化解析页签,开启自动配置索引和快速分析,默认是开启状态。开启后将使用结构化字段配置字段索引并打开快速分析。 在搜索分析页签,单击“创建快速分析”,跳转到索引配置页面添加需要快速分析的字段。 单击“确定”,快速分析创建完成。
日志配置结构化,详情请参见设置云端结构化解析日志。 ER流量日志中心 登录云日志服务控制台。 在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“ER仪表盘模板 > ER流量日志中心”,查看图表详情。
日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DSL仪表盘模板 > DSL加工任务监控中心”,查看图表详情。
表2 ICAgent版本说明 版本号 说明 发布时间 5.12.232 解析标准输出日志用到的json库替换为sonic,降低CPU使用率。 LTS发送日志出现超时,解决超时问题。
Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字段定义,因为这部分可能会根据使用的日志框架而有所不同,例如 Log4j,所以本文提供一个基于典型日志框架(如 Log4j)的示例,并对其中的一些通用字段进行解析。 系统日志示例。
模板名称 regex String 正则表达式 表5 StructFieldInfoReturn 参数 参数类型 描述 fieldName String 字段名称 type String 字段数据类型 content String 字段内容 isAnalysis Boolean 是否解析