检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Management,简称AOM1.0)是云上应用的一站式立体化运维管理平台,实时监测您的应用及相关云资源,分析应用健康状态,提供灵活丰富的数据可视化功能,帮助您及时发现故障,全面掌握应用、资源及业务的实时运行状况。 应用运维管理(Application Operations Management,简称AOM2
时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。 Kibana是一个开源的分析和可视化平台,用于数据的可视化、仪表盘创建和搜索查询。通常与Elasticsearch一起使用。 华为云日志服务LTS在功能丰富度、成本、性能方面优于开源E
告警、功能上线公告等信息的展示。 资源统计 在日志资源统计页面,支持查看资源统计、资源详情。日志资源统计是对日志进行分类统计及日志数据的可视化展示,统计日志资源的数据量仅供参考。 登录云日志服务控制台。 在日志总览下方,单击资源统计旁边的“相关明细”,进入日志资源统计详情页面。
服务 云日志服务(Log Tank Service,LTS)提供一站式的日志数据解决方案,支持日志的采集、日志存储、搜索分析、日志加工、可视化仪表盘、日志告警等功能。LTS提供稳定可靠的服务,您可无需关注扩缩容等资源问题,同时降低了日志运维门槛,帮助您提高问题定位和指标监控的效率。
流,方便对日志做进一步分类管理。创建日志流后,您可以将日志数据采集保存到日志流上,通过日志流对日志数据进行搜索分析、日志告警、日志转储、可视化展示、日志加工等。 为了快速了解并使用云日志服务LTS,建议您按照如下步骤进行操作: 创建日志组,请参考管理日志组。 创建日志流,请参考管理日志流。
<txid> 的文件,其中<txid>是一个十六进制数,表示写入该日志的第一个事务的ID。 由于事务日志是二进制文件,不能直接通过文本编辑器查看其内容。可以使用ZooKeeper 自带的工具(如 zkServer.sh 脚本中的 printlog 命令)来查看和解析事务日志。 快照日志(Snapshot
使用DSL加工函数处理日期时间 处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换
日志搜索与分析 在LTS页面分析华为云ELB日志 通过LTS仪表盘可视化ELB日志分析结果 在LTS页面分析华为云WAF日志 在LTS页面分析Log4j格式的应用运行日志 将LTS日志查询页面嵌入用户自建系统 分页显示查询分析结果 使用时间函数将日志时间字段转换为指定格式
关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 支持区域: 全部 正则分析 JSON 分隔符 Nginx 结构化模板 可视化 可视化提供对结构化后的日志字段进行SQL查询与分析的功能。对原始日志结构化后,等待1~2分钟左右即可对结构化后的日志进行SQL查询与分析。 支持区域:
糊查询等方式简单快速地进行查询,支持百亿日志秒级搜索,千亿日志迭代搜索。 SQL统计和可视化图表 LTS提供多种开箱即用的日志仪表盘模板,用户接入日志后即可快速分析。 将日志分析的结果使用可视化图表呈现出来,支持表格、折线图、饼图、柱状图、地图等统计图表,或将统计图表汇聚在仪表盘上统一呈现,方便运营分析。
如果您的日志是类似NGINX网关这种可以结构化解析的日志,建议您将有相同格式的日志采集到同一个日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能,实现可视化图表分析。 权限隔离建议:云日志服务的日志流支持企业项目隔离,通过为日志流设定不同的企业项目可以实现不同IAM用户有不同日志流的访问权限。
日志流id 表2 Query参数 参数 是否必选 参数类型 描述 search_type 否 String 原始日志:ORIGINALLOG 可视化日志: VISUALIZATION 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
long和float数值类型展示的图形 单击字段分布值统计或智能聚合时间折线图,会自动跳转到可视化界面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见可视化。 二次分析 快速分析功能支持对float类型和long类型的字段进行二次分析,具体如下:
本实践主要介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 日志搜索与分析 通过LTS仪表盘可视化ELB日志分析结果 本实践主要介绍将ELB日志接入LTS后,配置日志结构化后,支持使用仪表盘将日志可视化,可以更直观的分析日志数据。 日志搜索与分析 在LTS页面分析华为云WAF日志 本实践
请参考搜索日志。 云日志服务(LTS)支持使用SQL分析语法,对结构化后的日志字段进行日志分析,通过统计图表的方式对查询和分析的结果进行可视化展示。详细请参考分析LTS日志。 父主题: 日志搜索与分析(默认推荐)
常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该解决方案介绍当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表
折线图。单击图表即可进入详情页面。 单击字段分布值统计或智能聚合时间折线图,会自动跳转到可视化界面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见可视化。 二次分析 快速分析功能支持对float类型和long类型的字段进行二次分析,具体如下:
开启该按钮,日志流结构化配置为VPC系统模板,索引配置时将所有VPC解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=vpc_flow 开启该按钮,自动为日志流添加标签log_type=vpc_flow后,VPC仪表盘模板才能匹配该日志流。
在开启智能冷存储功能后,如果标准存储时间增大,冷存储数据的存储时间仅对最新数据生效,冷存储数据不会重新转为标准存储。 在开启智能冷存储功能后,在可视化日志、仪表盘、定时SQL的查询时间范围查询日志时,不支持查询涉及冷存储的时间段,需将查询时间设置为标准存储的时间范围。 表2 冷存储和标准存储区别
2023-09-21 02:59:24 192.168.1.1 GET /index.html - 301 0 0 123 2023-09-21 02:59:25 192.168.1.1 GET /index.html/ 403 0 2 56 表1 iis日志字段说明 字段 说明 示例 #Software