检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810,
"log")) 加工结果 { "type": "log", "content": "this is a log" } 父主题: 使用DSL加工函数清洗LTS日志数据
索,PB级智能冷存储。 SQL统计和可视化图表:100+SQL函数、多种可视化图表、10多种开箱即用仪表盘。 实时日志告警:自定义告警内容,短信/邮件/企业微信/钉钉/HTTP多渠道通知。 一站式日志加工:200+函数、一站式日志规整、富化、脱敏、过滤、分裂加工平台。 日志数据服
若有以下场景,可以选择使用自定义标识主机组: VPC等自定义网络环境中,可能出现不同服务器IP地址冲突的问题,导致日志服务无法管理ICAgent。使用自定义标识可以避免此类情况的发生。 多台服务器通过同一个自定义标识实现主机组弹性伸缩。您只需为新增的服务器配置相同的自定义标识,日志服务可自动识别,并将其添加至主机组中。
数据信息。云日志服务(LTS)提供的地图,包括中国地图和世界地图。您在查询和分析语句中使用特定函数(中国地图:ip_to_province函数,世界地图:ip_to_country函数)后,云日志服务(LTS)将以地图形式展示分析结果。 基本构成如下: 地图画布 色块 查看地图 登录云日志服务控制台。
云端:适用于有写权限的用户,版面配置信息保存在云端。 本地缓存:适用于只有读权限的用户,版面配置信息缓存在本地浏览器。 单击新增自定义版面,设置版面名称和版面字段的可见性。 设置完成后,单击“确定”,返回下拉框显示新增的自定义版面。 交互模式 使用交互模式之前,请确保日志正常上报,且已经完成结构化分析和索引配置,详细
配置日志资源使用量预警 开启自定义日志资源使用量预警开关后,系统将自动为您创建一条告警规则(日志资源使用量预警)。当日志使用量超过当前配置的自定义日志资源使用量额度时,系统会发送告警通知。日志使用量包括日志读写流量、索引流量和标准存储量。 在“配额设置”页签,单击“自定义日志资源使用量预警”开关。
图引擎服务GES接入LTS 支持图引擎服务GES日志接入LTS。 具体接入方法请参见自定义创建图。 父主题: 使用云服务接入LTS
Double类型的字段值位数 Double类型的字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 不涉及。 IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。
LTS:SQL性能强,支持嵌套SQL。 日志搜索 SQL函数 ☆☆☆☆☆ ☆☆ ELK:只支持最基础的SQL统计函数。 LTS:在基础SQL函数基础上,提供了大量的扩展函数,例如IP函数、统计函数、环比同比函数、URL函数等,极大扩展了使用场景。 日志搜索 可视化图表 ☆☆☆☆ ☆☆☆
在页面上方搜索框中可根据日志组、日志流、告警级别、规则名称进行搜索。 设置时间范围,默认时间范围为30分钟(相对)。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19
数据不完善时,您可以从OBS中获取数据。日志服务数据加工支持使用res_obs_file函数从OSS中获取数据,再使用tab_parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。 实践案例 原始日志 {
LTS SQL 称为 SQL。 SQL语言由用于处理数据库和数据库对象的命令和函数组成。使用该语言时需遵循有关表达式和文本使用的规则。因此在SQL参考章节,除了SQL语法参考外,还会看到有关表达式、函数和操作符等信息。SQL基本查询语句如下: 约束与限制 日志可视化相关的功能支持
本实践主要介绍通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将LTS登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 日志搜索与分析 分页显示查询分析结果 本实践介绍查询结果和分析结果的分页方法。 日志搜索与分析 使用时间函数将日志时间字段转换为指定格式 本实践介绍时间字段的常用转换示例。
单击“保存”完成结构化配置。 自定义模板 在“选择模板”下,选择“自定义模板”,选择已有的结构化模板。自定义模板主要来源有以下两种: 在配置正则分析、JSON、分隔符或Nginx方式时,单击左下角的“另存为模板”,系统会弹出“另存模板”页面,输入模板名称,单击“确定”,保存自定义模板。该模板会在“自定义模板”下的模板列表展示。
单击“保存”完成结构化配置。 自定义模板 在“选择模板”下,选择“自定义模板”,选择已有的结构化模板。自定义模板主要来源有以下两种: 在配置正则分析、JSON、分隔符或Nginx方式时,单击左下角的“另存为模板”,系统会弹出“另存模板”页面,输入模板名称,单击“确定”,保存自定义模板。该模板会在“自定义模板”下的模板列表展示。
需要使用更多的函数或者嵌套查询,请手动输入SQL语句。详细请参考SQL函数。 单击搜索框前面的“交互模式”,进入交互式搜索分析页面,支持日志搜索和日志分析。 在“日志搜索”下方的下拉框选择日志搜索的字段和条件,搜索框则会展示对应字段的值。根据业务需要,用户可以自定义设置搜索方式,添加关联关系或添加组进行搜索。
企业项目授权后仍报权限不足的说明 IAM项目(Project)/企业项目(Enterprise Project):自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支
L统计,通过在一定时间段内日志中关键字出现次数,实时监控服务运行状态;支持自定义告警内容,支持短信/邮件/企业微信/钉钉/HTTP多渠道通知。 日志转储 主机和云服务的日志数据上报至云日志服务后,支持自定义存储时间。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据
解析Nginx日志 Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source":"192