检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自建K8s应用日志接入LTS 自建K8s(kubernetes)是开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。将自建K8s集群内服务或集群节点特定路径文件的应用日志上报至LTS后,用户可以对Kubernetes集群内服务日志进行存储和分析。 您可以按照如下步骤完成接入配置
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parsetimestamp
ServiceStage容器应用日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage容器应用的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析
字符串函数 概述 多字符串和排序、反转、替换 常见操作 查找判断、切分和格式化 字符集判断 父主题: 操作符函数
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,
查看LTS实时最新日志,每一次加载数据时延是多久? 在LTS控制台查看LTS实时最新日志,正常情况下,每隔5秒加载一次。如果这5秒内没有产生日志,则不显示;5秒后会继续调用接口,刷新出产生的日志数据。即如果每5秒都有日志数据产生,则加载数据时延为5秒。 父主题: 日志搜索与分析
LTS-Flink-Connector参数说明 云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化
LTS地图 以地图作为背景,通过图形颜色、图像标记的方式展示地理数据信息。云日志服务(LTS)提供的地图,包括中国地图和世界地图。您在查询和分析语句中使用特定函数(中国地图:ip_to_province函数,世界地图:ip_to_country函数)后,云日志服务(LTS)将以地图形式展示分析结果
查找判断、切分和格式化 str_count 统计字符串里某个字符出现的次数。 函数格式 str_count(value, sub, start, end) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 被统计的原字符串。 sub 任意(
LTS漏斗图 漏斗图适用于业务流程比较规范、周期长、环节多的单流程单向分析,通过漏斗各环节业务数据的比较能够直观地发现和说明问题所在的环节,进而做出决策。漏斗图用梯形面积表示某个环节业务量与上一个环节之间的差异。 查看漏斗图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果内容较多
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用,
设置云端结构化模板 云日志服务(LTS)目前支持的结构化模板有两种,分别为系统模板和自定义模板。 系统模板 支持多种系统模板,不支持修改系统模板的字段类型和删除字段,详情请参考表1。 在云端结构化解析页面中,日志结构化方式选择“结构化模板”。 在“选择模板”下,选择“系统模板”,选择对应的系统模板
多字符串和排序、反转、替换 str_format 函数格式 str_format(format, str1, str2, ...) 参数说明 参数名称 参数类型 是否必填 说明 format string 是 转换后的格式 str1 任意 是 待格式化的值1 str2 任意 是 待格式化的值
统计图表概述 日志上报LTS后,支持通过SQL分析语法搜索关键日志数据,并将查询结果通过统计图表的方式进行可视化展示,帮助用户更容易地理解日志数据之间的变化。用户还可以将图表分析结果保存到仪表盘,进行长期监控。 限制说明 目前此功能支持全部用户使用的局点有:华南-广州、华北-北京四
设置日志云端结构化解析 云日志服务LTS目前支持五种日志结构化方式,分别是正则分析、JSON、分隔符、Nginx和结构化模板。您可以根据日志内容的实际场景进行选择。 正则分析:适用于日志文本中每行内容为一条原始日志,且每条日志可按正则表达式提取为多个key-value键值的日志解析模式
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
LTS折线图 折线图属于趋势类分析图表,一般用于表示一组数据在一个有序数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。在折线图中,可以清晰的观测到数据在某一个周期内的变化,主要反映在: 递增性或递减性 增减的速率情况 增减的规律(如周期变化) 峰值和谷值 所以,