检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置日志云端结构化解析 云日志服务LTS目前支持五种日志结构化方式,分别是正则分析、JSON、分隔符、Nginx和结构化模板。您可以根据日志内容的实际场景进行选择。 正则分析:适用于日志文本中每行内容为一条原始日志,且每条日志可按正则表达式提取为多个key-value键值的日志解
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方
使用DSL加工函数过滤VPC流日志公网流量 虚拟私有云VPC提供流日志功能,可以帮您采集指定VPC内网络实例的流量信息,包括入方向和出方向的流量。创建流日志后,您可以在配置的日志组中查看流日志记录。更多VPC流信息请参考VPC流日志概述。 在虚拟私有云VPC控制台上创建VPC流日
窗口函数 本文介绍窗口函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 窗口函数 函数 描述 ntile函数 用于将窗口分区内数据按照顺序分成N组。 ntile函数 用于将窗口分区内数据按照顺序分成N组。 语法: ntile(n) over ( [partition
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用
数组函数 本文介绍数组函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 数组函数 函数 描述 array函数 将输入的参数构造成数组,参数类型必须相同。 array_position函数 获取指定元素的下标,下标从1开始。如果指定元素不存在,则返回0。 cardinality函数
分页显示查询分析结果 用户在查询分析日志时,查询分析结果内容过多会影响显示速度和查询体验。云日志服务LTS支持分页显示查询分析结果,可控制每次返回的日志数量。本文介绍查询结果和分析结果的分页方法。 分页方式 云日志服务的日志搜索和统计图表功能支持在查询分析语句中同时实现关键字查询和针对查询结果进行SQL分析。
成长地图 | 华为云 云日志服务 云日志服务(Log Tank Service,简称LTS)可以提供日志收集、分析、存储等服务。用户可以通过云日志服务快速高效地进行设备运维管理、用户业务趋势分析、安全监控审计等操作。 产品定价 图说LTS 立即使用 成长地图 由浅入深,带您玩转LTS
类型转换函数 本文介绍类型转换函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。
进入搜索LTS日志页面 当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。 搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。
日期和时间函数 本文介绍日期、时间函数的语法规则,包括参数解释、函数示例等。管道符特性处理的日期和时间为timestamp类型,返回值格式表现为yyyy-MM-dd HH:mm:ss.SSS TimeZone。 函数列表 表1 日期和时间函数 函数 描述 current_timestamp函数
SQL其他函数 功能描述 SQL提供的函数,还支持一些转换类型和CASE WHEN等逻辑运算,具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
服务器-DNS日志 DNS(Domain Name System,域名系统)是互联网的一项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。当用户在浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。
SQL JOIN语法 JOIN子句可以关联查询两个或多个表数据,本文介绍JOIN子句的基本使用方法。 语法 select key from t1 LEFT|RIGHT|INNER JOIN t2 on t1.key=t2.key 当前日志服务支持LEFT JOIN、RIGHT JOIN和INNER
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
日志告警概述 云日志服务支持创建搜索分析类型、关键词统计类型、SQL统计类型的日志告警规则,根据设置的告警规则触发告警,可以在告警列表查看上报的告警详情,实时监控服务运行状态。或者通过告警行动规则将上报告警以短信,手机,邮件等多种形式发送告警通知,方便用户及时处理告警问题。 功能优势
使用匿名写入采集日志 如果您需要收集和分析用户在浏览器、小程序上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、停留时间,可以使用匿名写入功能。只需在日志流页面开启匿名写入开关,就可以将用户行为信息上传到云日志服务的日志流中。 约束与限制 使用匿名写入采集日志功能仅支持华北
SQL最值函数 功能描述 SQL提供最值函数,对字段进行最值求解,具体请参见表1 最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS
问题总览 本文汇总云日志服务的常见问题。 产品咨询问题 AOM1.0、AOM2.0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势?