检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 方案概述 云上用户经常会遇到多云或者跨Region采集Kubernetes日志场景,典型场景有两种,分别是: 场景一:将互联网数据中心(Internet Data Center,以下简称IDC
场景六:使用e_if函数或e_switch函数判断日志并增加字段 推荐使用e_if函数或e_switch函数进行日志判断。更多信息,请参见流程控制函数。 e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_switch
使用Flume采集器上报日志到LTS Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
SQL IP地址函数 功能函数 对于IPv4地址函数,地址参数可以是IPv4点分十进制字符串(例如"192.168.0.1")或表示为整数的IP地址(例如3232235521)。subnet 参数应该是一个字符串,格式为CIDR表示法中的IPv4地址子网(例如"192.168.0.0
AOM1.0、AOM2.0与LTS分别有什么关系? 应用运维管理(Application Operations Management,简称AOM1.0)是云上应用的一站式立体化运维管理平台,实时监测您的应用及相关云资源,分析应用健康状态,提供灵活丰富的数据可视化功能,帮助您及时发现故障
使用Flume采集器上报日志到LTS Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过
进入搜索LTS日志页面 云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成:针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型:
列表函数 本文介绍列表函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 lst_make 构建列表。 lst_insert 在列表特定位置插入元素。 lst_append 在列表结尾追加元素。 lst_delete_at 在列表特定位置删除元素。 lst_reverse
采集Syslog汇聚服务器日志到LTS 背景信息 Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生syslog
DSL仪表盘模板 DSL加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。 云日志服务支持DSL(Domain Specific Language)仪表盘模板,DSL加工任务监控中心主要展示加工任务
正则式函数 本文介绍正则式函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 正则式函数 函数 描述 regexp_extract函数 提取目标字符串中符合正则表达式的子串。 regexp_like函数 判断目标字符串是否符合正则表达式。 regexp_extract_all
SQL聚合函数 聚合函数是对结构化后的日志的指定列进行的统计运算。聚合函数返回的是单个值,经常与SELECT语句和GROUP BY语句一起使用。LTS支持如下表格所示聚合函数,具体请参考表1。 在聚合函数的使用中请注意以下几点: 聚合函数可用在任何查询的SELECT子句中。您可以使用如
基本概念 日志组 日志组(LogGroup)是云日志服务进行日志管理的基本单位,可以创建日志流以及设置日志存储时间。 日志流 日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,方便对日志进一步分类管理。 日志读写以日志流为单位,您可以在写入时指定日志流,将不同类型的日志分类存储
主机接入LTS后无法采集到日志? 如果主机接入LTS后无法采集到日志,请按如下方法进行排查: 刚完成接入配置则需要等待1~5分钟,日志才会开始上报。 排查相同主机的同一个日志采集路径,是否已在AOM进行了配置。在AOM配置后则不能在LTS重复配置。 参考ECS接入排查是否存在不规范的配置导致日志采集失败
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,
创建告警行动规则 LTS提供告警行动规则定制功能,您可以通过创建告警行动规则关联SMN主题与消息模板,创建消息模板时,自定义通知消息配置。 前提条件 已创建一个主题。详细操作请参考创建主题。 已设置主题策略。详细操作请参考设置主题策略。 已为主题添加相关的订阅者,即通知的接收人(例如
管理日志流 云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日志
使用匿名写入采集日志 如果您需要收集和分析用户在浏览器、小程序上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、停留时间,可以使用匿名写入功能。只需在日志流页面开启匿名写入开关,就可以将用户行为信息上传到云日志服务的日志流中。 使用匿名写入采集日志功能仅支持华北-北京四、华东