检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志转储至OBS 对象存储服务 OBS提供日志存储功能;您可以将日志转储至OBS,并在OBS控制台下载日志文件。支持将日志周期性或一次性的转储至对象存储服务(OBS)中长期保存。 创建日志转储(周期性) 创建日志转储(一次性) 前提条件 日志已接入LTS。详细请参考日志接入。 已创建OBS桶。详细请参考创建桶。
日志转储至DLI后,在DLI表中查不到新增分区怎么处理? 设置日志转储至DLI后,在DLI表中查不到新增分区,请参考如下方法处理。 方法1:更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”,进入详情页,在编辑框输入命令“MSCK
创建DSL加工任务 DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。
日志转储至DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据
SQL查询语法概述 SQL是用于访问和处理数据库的标准计算机语言。LTS SQL提供了查询日志流中结构化数据的语句, 以下均将 LTS SQL 称为 SQL。 SQL语言由用于处理数据库和数据库对象的命令和函数组成。使用该语言时需遵循有关表达式和文本使用的规则。因此在SQL参考章
LTS折线图 折线图属于趋势类分析图表,一般用于表示一组数据在一个有序数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。在折线图中,可以清晰的观测到数据在某一个周期内的变化,主要反映在: 递增性或递减性 增减的速率情况 增减的规律(如周期变化) 峰值和谷值 所以
字段操作函数 本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
LTS数字图 数字图通常用来表示单一数据点或关键性指标,能够更好地展示单一信息和数据的相对大小,是一种非常清晰的信息展示方式,适用于需要重点突出关键信息和数据的场合。通过数字图可以快速地呈现信息和数据,使得用户能够快速、直观地理解数据的趋势和关键指标。 查看数字图 登录云日志服务控制台。
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工,常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下: 方案 关键字提取 值提取
同比和环比函数 本文介绍同比和环比函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 同比和环比函数 函数 描述 compare函数 用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 ts_compare函数 用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。
SQL同比和环比函数 本文介绍同比和环比函数的基础语法和示例。 compare函数 compare函数用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 语法格式 对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 compare(x,n) 对比当前时间周
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS
LTS饼图 饼图用于表示不同分类的占比情况,通过弧度大小来对比各种分类。饼图通过将一个圆饼按照分类的占比划分成多个区块,整个圆饼代表数据的总量,每个区块表示该分类占总体的比例大小,所有区块的加和等于100%。基本构成如下: 扇形 文本百分比 图例 查看饼图 登录云日志服务控制台。
日期时间偏移 处理函数 dt_add函数的参数如下: dt_add(字段名, dt1=None, dt2=None, year(s)=None, month(s)=None, day(s)=None, hour(s)=None, minute(s)=None, second(s)=None
创建消费组 您可以在华为云LTS控制台为日志流创建消费组,使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。
采集诊断仪表盘模板 采集诊断仪表盘模板支持查看ICAgent采集监控、查看ICAgent整体状态和查看ICAgent异常监控。 前提条件 在LTS控制台配置中心页面的“ICAgent采集开关”页签,开启ICAgent诊断开关,请参考设置ICAgent日志采集开关。 查看ICAgent采集监控
查找判断、切分和格式化 str_count 统计字符串里某个字符出现的次数。 函数格式 str_count(value, sub, start, end) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 被统计的原字符串。 sub 任意(自动转为String)
SQL SPLIT函数 功能描述 SPLIT函数用于通过指定的分隔符拆分字符串,并返回拆分后的子串集合。 语法格式 SELECT split_to_map(x, delimiter01, delimiter02) SPLIT函数语句 语句 说明 示例 参数 split split
通过LTS仪表盘可视化ELB日志分析结果 当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考日志结构化概述。