检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志转储至DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。
API概览 云日志服务所提供的接口为扩展接口。通过使用云日志服务所提供的接口,您可以完整的使用云日志服务的基本功能。例如查询API版本号、创建、查询、删除日志组和日志流。 云日志服务提供的具体API如表1所示。 表1 接口说明 子类型 说明 主机组管理 LTS API的主机组管理接口,用来创建、查询、删除主机组。
创建LTS快速分析 日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等。当您需要了解这些信息时,可以通过快速分析功能,查询指定日志关键词,云服务日志LTS针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
应用场景 应用场景1:应用运维 企业在日常业务运维、审计或等保时,需要收集各种类型的日志,常遇到如下痛点: 企业部门多且日志繁杂,日志量大。 云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现:
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
云服务接入LTS概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称
字符串函数 概述 多字符串和排序、反转、替换 常见操作 查找判断、切分和格式化 字符集判断 父主题: 操作符函数
云日志服务iOS SDK 云日志服务iOS SDK提供了Objective-C & Swift语言上报日志的一系列方法,如果您需要收集和分析用户在网站上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、终端设备记录,设备异常记录,网络使用记录等,可以直接使用iOS SDK上报日志到LTS。
计费FAQ 云日志服务LTS提供的500M免费额度怎么算? LTS日志计费相关问题? 在LTS页面如何停止计费 云日志服务LTS资源包相关问题 云端结构化日志读写流量、索引流量、存储流量的收费变化说明
搜索与分析限制 本文介绍云日志服务查询与分析的限制。 搜索 表1 日志搜索限制 限制项 说明 备注 日志采集到搜索时延 从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)。 不涉及。 关键词个数 关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
日志加工(邀测) DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏
API说明 本章节所介绍的所有接口URI,请在调用时务必区分大小写。 主机组管理 日志组管理 日志流管理 日志管理 日志接入 日志转储 超额采集 云端结构化配置 AOM容器日志接入LTS 告警主题 消息模板管理 SQL告警规则 关键词告警规则 告警列表 标签管理 仪表盘管理 日志流图表
使用DSL加工函数处理日期时间 处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换
日志搜索与分析 在LTS页面分析华为云ELB日志 通过LTS仪表盘可视化ELB日志分析结果 在LTS页面分析华为云WAF日志 在LTS页面分析Log4j格式的应用运行日志 将LTS日志查询页面嵌入用户自建系统 分页显示查询分析结果 使用时间函数将日志时间字段转换为指定格式
LTS日志计费相关问题? 使用LTS日志计费相关问题如下,具体单价请参考官网LTS价格详情说明。 原始日志流量及索引流量、读写流量的关系: 日志读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率,原始日志流量为读写流量的5倍。 示例:原始日志为10GB,实际压缩大小为
设置多账号日志汇聚 多账号日志汇聚中心支持您将多个账号下的日志流复制到指定的账号中,实现多账号日志的集中存储和分析,满足安全合规、集中分析等不同场景下的诉求。 目前此功能支持华东-上海一、中国-香港、亚太-雅加达、华南-广州、拉美-圣保罗一、华北-北京四、西南-贵阳一、拉美-圣地
云日志服务Android SDK 云日志服务Android SDK提供了Kotlin & Java语言上报日志的一系列方法,如果您需要收集和分析用户在网站上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、终端设备记录,设备异常记录,网络使用记录等,可以直接使用Android
使用SDK接入LTS 云日志服务Java SDK(标准插件) 云日志服务Java SDK (结构化日志上报) 云日志服务Java SDK(log4j2插件) 云日志服务LogBack SDK 云日志服务Go SDK 云日志服务Net SDK 云日志服务鸿蒙SDK 云日志服务Web
在LTS页面分析Log4j格式的应用运行日志 背景信息 Log4j是Apache的一个开源项目,通过使用Log4j工具,我们可以将日志输出并保存到日志文件中,开发或运维人员会基于该日志统计日志级别的数量和占比,或者通过运行日志统计业务数据。 如统计今天某商品的交易量,示例日志如下: