检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用场景 应用场景1:应用运维 企业在日常业务运维、审计或等保时,需要收集各种类型的日志,常遇到如下痛点: 企业部门多且日志繁杂,日志量大。 云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现:
什么是云日志服务 云日志服务(Log Tank Service,简称LTS)是高性能、低成本、功能丰富、高可靠的日志平台。提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能,满足应用运维、等保合规和运营分析等应用场景需求。 介绍视频 LTS的核心价值
3*400GB) 1200元 6.3% LTS使用价格计算器,计算出来月成本约为13408元,使用LTS的成本约为自建ELK成本的71%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。 场景三: 假设客户每天原始日志5TB(日志平均速率58MB/s
如何从第三方云厂商将日志搬迁到华为云LTS? 若用户是在第三方云厂商使用日志服务,有大量数据在第三方云厂商对象存储上,希望将日志搬迁到华为云,对于不同的日志类型,请参考如下方法: 热日志(用于搜索分析):典型保存7-14天,用于应用运维,该日志不需要搬迁到华为云。用户在华为云直接
E应用日志接入LTS功能。 图1 AOM1.0与LTS关系图 AOM2.0与LTS关系 AOM2.0将日志功能剥离,由LTS负责日志功能,仅AOM2.0界面会内嵌LTS页面,提供日志相关展示。 图2 AOM2.0与LTS关系图 父主题: 产品咨询问题
LTS快速入门 LTS成长地图 日志组 日志组(LogGroup)是LTS进行日志管理的基本单位,可以创建日志流以及设置日志存储时间,每个账号下可以创建100个日志组。 支持区域: 全部 创建日志组 日志流 日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,将不同类型
原始日志 { "name":"" } 加工规则 e_set("name", "Apache 2.0", mode="fill") 加工结果 { name:Apache 2.0 } 场景2:为多个字段赋值。 e_set("k1", "v1", "k2", "v2") 示例如下所示:
agency_log_access 是 String 跨账号日志接入配置名称 log_agencyStream_name 是 String 委托日志流名称 log_agencyStream_id 是 String 委托日志流id log_agencyGroup_name 是 String 委托日志组名称
String 是 regularExpr 包含捕获组的正则表达式,(\d)(\d)表示两个捕获组。 String 是 n 第n个符合正则表达式的子串。 Integer 否 返回值类型:String类型 示例:SELECT REGEXP_EXTRACT('HTTP/2.0', '\d+')
查询语句用来指定日志查询时的过滤规则,返回符合条件的日志。根据索引配置方式可分为全文查询和字段查询,根据查询精确程度可分为精确查询和模糊查询。详细请参考表1。 SQL是用于访问和处理数据库的标准计算机语言。管道符提供了使用SQL语句进行数据分析的能力,具体请参考SQL92语法标准。 使用SQL语句进行查询时
问题总览 本文汇总云日志服务的常见问题。 产品咨询问题 AOM1.0、AOM2.0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势?
使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OBS仅贵25%,但是可以支持搜索,在易用性和成本上是最佳选择。 转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。 大数据组件日志采集场景 场景描述:有些用户会使用MRS/Flink/Spar
查看LTS实时最新日志,每一次加载数据时延是多久? 在LTS控制台查看LTS实时最新日志,正常情况下,每隔5秒加载一次。如果这5秒内没有产生日志,则不显示;5秒后会继续调用接口,刷新出产生的日志数据。即如果每5秒都有日志数据产生,则加载数据时延为5秒。 父主题: 日志搜索与分析
产品咨询问题 AOM1.0、AOM2.0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势?
同于var log,搜索的是同时包含var和log的所有日志。同理,搜索语句"var:log"、var;log等搜索的也是同时包含var和log的所有日志。 查询日志使用搜索语法的常见问题和相关报错的处理方法请参考日志搜索相关问题。 搜索方式 搜索语句是用来指定日志搜索时的过滤规则,返回符合条件的日志。
op_sum(value1, value2, ...) 参数说明 参数名称 参数类型 是否必填 说明 value1 数字或数字字符串 是 待计算的值。 value2 数字或数字字符串 是 待计算的值。 返回结果 返回多个传入值的求和结果。 函数示例 计算course_price和goods_price总价。
数字或数字字符串 是 待转换的值。 返回结果 返回浮点类型数值。 函数示例 测试数据 { "price": 2 } 加工规则 e_set("price_float", ct_float(v("price"))) 加工结果 price: 2 price_float: 2.0 ct_str
CCE集群已安装ICAgent并且已创建相关节点自定义标识的主机组(如果不满足,配置CCE接入LTS时会自动检查修复)。 首次使用AOM2.0的用户,请参考开通AOM2.0授权使用AOM2.0,进入AOM2.0控制台后,请参考云服务授权授予云日志服务 (LTS)、云容器引擎 (CCE)等云服务数据的访问权限。 在
log、/var/logs/service/a*.log。 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。 采集路径不能重复配置,即同一
将自建ELK日志导入云日志服务LTS 方案概述 ELK是Elasticsearch、Logstash和Kibana的简称,它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的