检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化容器日志结构化性能。 解决CCE场景错误诊断偶现上报失败的问题。 解决虚机场景不活跃文件采集失效的问题。 2024-10-17 5.12.232 解析标准输出日志用到的json库替换为sonic,降低CPU使用率。 LTS发送日志出现超时,解决超时问题。 2024-10-14 5.12.231
新建日志流的ICAgent结构化解析和云端结构化解析资源统计及计费的区别: ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析。 云端结构
String IC结构化解析类型包括 :SINGLE_LINE 单行全文,MULTI_LINE 多行全文,REGEX 单行正则,MULTI_REGEX 多行正则,SPLIT 分隔符,JSON JSON解析,NGINX nginx解析, COMPOSE组合解析 demo_log 否 String
在系统首页左上角单击,选择“管理与监管 > 云日志服务 LTS”。 在日志管理页面,单击日志流名称进入日志流详情页面,单击右上角的按钮,进入设置页面,在“云端结构化解析”页签,“自动配置索引和快速分析”默认开启,选择“结构化模板”提取方式,勾选ELB系统模板,单击“保存”,关于快速分析的更多详情请参见快速分析。
步骤四:查看实时日志 前提条件 注册账号并实名认证。使用LTS前,需要先注册一个华为账号并进行实名认证。如果您已有一个华为账号,可直接跳过如下操作。 进入华为云官网,单击页面右上角的“注册”。 参考注册华为账号并开通华为云中操作,完成注册。 注册后参考实名认证完成个人或企业账号实名认证。
String IC结构化解析类型 demo_log String 示例日志 demo_fields Array of DemoFieldAccess objects 示例日志解析字段 processors Array of Processor objects IC结构化解析器 application_id
结构化日志的一系列方法,方便用户直接使用编码方式上报未结构化日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
e)。例如: "request method":GET message:"This is a log" time:"09:00:00" ipv6:"2024:AC8:2ac::d09" request_method:GET "" 使用双引号("")包裹一个语法关键词,可以将该语法
云日志服务SDK提供了Java语言上报结构化日志的一系列方法,方便用户直接使用编码方式上报结构化日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
件。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
组支持自定义标识主机组,可以管理动态扩缩容主机组。 日志结构化解析 ☆☆☆☆ ☆☆☆☆☆ ELK:基于采集器实现自定义日志结构化解析。 LTS:提供结构化解析能力,可以正则表达式、JSON、分隔符、自定义模板等方式解析日志。 日志搜索 关键词搜索、模糊搜索、快速分析 ☆☆☆☆☆ ☆☆☆☆☆
2中配置华为云appender,将通过log4j2产生的日志直接上报至云日志服务。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
中配置华为云appender,将通过logback产生的日志直接上报至云日志服务。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
日志搜索与分析(管道符方式-邀测) 进入搜索LTS日志页面 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 SQL函数
TS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看APIG访问中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“APIG仪表盘模板 > APIG访问中心”,查看图表详情。 过滤请求域名,所关联的查询分析语句如下所示: select distinct(host)
json_parse 将值解析为JSON对象。 函数格式 json_parse(value, default=None, restrict=false) 参数说明 参数 类型 是否必填 说明 value String 是 传入需要被解析的字段。 default String 否 如果解析字段不存在
日志搜索与分析(默认推荐) 日志搜索与分析概述 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 分析LTS日志 SQL分析语法介绍
如何配置到最佳使用状态:很多云服务的日志都是支持结构化的,您可以在结构化配置页面为您的云服务日志配置对应的结构化解析规则,详细操作请参考日志结构化配置。结构化解析之后即可对日志使用SQL进行可视化分析。LTS也为很多常见的云服务日志提供了开箱即用的仪表盘,例如ELB/APIG/DCS等开箱即用仪表盘。
使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
"nickname") res_obs_file函数重要字段说明如下表所示,更多参数说明请参见资源函数。 字段 说明 endpoint obs访问域名,详情请参见res_obs_file。 bucket 用于存储CSV文件的OBS Bucket。 file 目标OBS文件的路径。例如test/data