检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
容器引擎CCE应用日志接入LTS功能。 图1 AOM1.0与LTS关系图 AOM2.0与LTS关系 AOM2.0将日志功能剥离,由LTS负责日志功能,仅AOM2.0界面会内嵌LTS页面,提供日志相关展示。 图2 AOM2.0与LTS关系图 父主题: 产品咨询问题
日志迭代搜索,PB级智能冷存储。 SQL统计和可视化图表:100+SQL函数、多种可视化图表、10多种开箱即用仪表盘。 实时日志告警:自定义告警内容,短信/邮件/企业微信/钉钉/HTTP多渠道通知。 一站式日志加工:200+函数、一站式日志规整、富化、脱敏、过滤、分裂加工平台。
解析Nginx日志 Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source":"192
DSL加工任务监控中心”,查看图表详情。 过滤加工任务ID,所关联的查询分析语句如下所示: select distinct(task_id) 过滤加工任务名称,所关联的查询分析语句如下所示: select distinct(task_name) 输入行数图表所关联的查询分析语句如下所示:
DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。 前提条件 已成功采集到日志。
高级场景下使用,维护机制更灵活。 需要构建和维护对应的表格,过程相对繁琐。 从字典函数构建 基于逻辑动态构建字典,特定场景下适用。 较为高级,不易于维护。 从其他表达式构建 从日志事件的字段中动态提取映射关系,特定场景下适用。 较为高级,不易于维护。 直接构建 e_dict_map({"400":
FunctionGraph 函数工作流 函数执行日志 函数工作流FunctionGraph接入LTS - 20 GaussDB 云数据库 GaussDB 审计日志(GAUSSV5审计日志) 云数据库GaussDB接入LTS - 21 GES 图引擎服务 审计日志 图引擎服务GES接入LTS
本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志 { "data": {"k1":
SQL查询语法概述 SQL聚合函数 SQL同比和环比函数 SQL JSON函数 SQL IP函数 SQL数学函数 SQL时间函数 SQL最值函数 SQL字符串函数 SQL SPLIT函数 SQL比较运算符 SQL IP地址函数 SQL归约函数 SQL其他函数 SQL JOIN语法 SQL查询样例
用户有多条日志流需要转换成不同的日志流结构,一个函数只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函数工作流服务,且还需要独立收费,长期使用增加成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。
router_request_uri order by pv desc limit 100 查询结果有表格、柱状图、折线图、饼图和数字图等呈现形式。更多信息请参考使用统计图表将日志可视化。 父主题: 日志搜索与分析
DSL数据加工语法(邀测) 概述 操作符函数 全局操作函数 父主题: 日志消费与加工
上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
式、其余归为其他。 图例配置 隐藏图例 开启后,可以隐藏图例和图例内容的显示。 图例内容 选择显示值和百分比,可勾选多个。 图例位置 图例在图表中的位置,选择图表顶部或图表右边。 图形配置 外半径 指定饼图外半径值。取值范围为40~100 。 内半径 指定饼图内半径值。取值范围为0~100。
日志搜索 SQL函数 ☆☆☆☆☆ ☆☆ ELK:只支持最基础的SQL统计函数。 LTS:在基础SQL函数基础上,提供了大量的扩展函数,例如IP函数、统计函数、环比同比函数、URL函数等,极大扩展了使用场景。 日志搜索 可视化图表 ☆☆☆☆ ☆☆☆ LTS:提供了表格、折线图、饼图、柱状图等多种可视化图表。
在日志组列表中,单击日志组名称前对应的按钮。 在日志流列表中,单击日志流名称,进入日志详情页面。 在“统计图表”页签,在右上角选择时间范围,可以查看原始日志和统计图表。在搜索框由搜索语句和SQL分析语句组成,两者通过管道符|联动,详细请参考SQL函数。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
通过仪表盘可视化分析ELB日志 该解决方案介绍当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。您可以参考如下内容,进行具体的操作配置。 无服务器日志实时分析 该解决方案帮助您无服务器架构实现弹性云服务器
日志消费与加工 DSL加工(邀测) DSL数据加工语法(邀测) 使用定时SQL进行日志加工 使用FunctionGraph服务提供的函数模板进行日志加工 日志生成指标(邀测) 使用消费组管理消费数据(邀测) 使用SDK-API消费日志(邀测)
在LTS页面分析华为云WAF日志 在LTS页面分析Log4j格式的应用运行日志 将LTS日志查询页面嵌入用户自建系统 分页显示查询分析结果 使用时间函数将日志时间字段转换为指定格式