检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过LTS仪表盘可视化ELB日志分析结果 当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考日志结构化概述。
SQL是用于访问和处理数据库的标准计算机语言。LTS SQL提供了查询日志流中结构化数据的语句, 以下均将 LTS SQL 称为 SQL。 SQL语言由用于处理数据库和数据库对象的命令和函数组成。使用该语言时需遵循有关表达式和文本使用的规则。因此在SQL参考章节,除了SQL语法参考外,还会看到有关表达式、函数和操作符等信息。SQL基本查询语句如下:
2019-06-02 18:41:26-07:00表示该时间是西7区时区下的2019-06-02 18:41:26。 日期时间对象 实例化的日期时间,专指Datetime类型的数据。日期时间对象的主要用途是为了便于展示以及提升用户可读性。 Unix时间戳 从1970年1月1日(UTC/GMT的午夜)
对主机日志采集设置具体的采集规则,具体可参考采集配置。 单击“下一步:索引配置”,使用默认设置。 单击“提交”,接入成功。 在日志流详情页面,单击,在“云端结构化解析”页面,选择“正则分析”提取方式,根据业务需求选择日志,将日志正文拆分成四个部分:Time1/ThreadName/Level/Message。
配置转储到OBS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
优化容器日志结构化性能。 解决CCE场景错误诊断偶现上报失败的问题。 解决虚机场景不活跃文件采集失效的问题。 2024-10-17 5.12.232 解析标准输出日志用到的json库替换为sonic,降低CPU使用率。 LTS发送日志出现超时,解决超时问题。 2024-10-14 5.12.231
持自定义存储时间。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)中长期保存。日志转储基于复制的转储机制,在LTS设置的存储时间内转储至OBS的日志,不会在LTS被删除。 同时LTS还支
数、访问客户端数等图表。 前提条件 已采集DDS日志,详情请参见文档数据库服务DDS接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 DDS审计日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DDS仪表盘模板 > DDS审计日志中心”,查看图表详情。
欠费后,无法上报日志,且无法创建日志组和日志流等功能。 避免和处理欠费 减少日志存储时间或及时删除不需要的日志流。 欠费后需要及时充值,详细操作请参见账户充值。 若日志存储在对象存储服务 OBS中的数据不再使用,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度
标日志组和日志流名称,进入日志详情页面。 系统获取ELB原始日志,在日志搜索页面查看具体日志。 单击右上角,在弹出页面中,选择“云端结构化解析”。 选择结构化模板,根据ELB模板进行结构化配置。其他日志内容可选择其他结构化模板。 在“可视化”页签下输入SQL查询语句对相应的字段进行查询,即可返回所需的日志内容。
详细加工语法请参考DSL数据加工语法(邀测)。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 创建DSL加工任务 登录云日志服务控制台。 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基本信息
协议的每分钟包数、弹性网卡。 前提条件 已采集VPC日志,详情请参见虚拟私有云VPC接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看VPC流日志 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“VPC日志流中心”,选择“进入仪表盘”。
可能会根据使用的日志框架而有所不同,例如 Log4j,所以本文提供一个基于典型日志框架(如 Log4j)的示例,并对其中的一些通用字段进行解析。 系统日志示例。 2023-10-23 15:33:45,123 INFO [KafkaServer id=0] onBrokerStartup
主要展示加工任务ID、加工任务名称、输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DSL仪表盘模板 > DSL加工任务监控中心”,查看图表详情。
Boolean 是否解析 index Integer 字段序号 表6 tag_fields_info 参数 参数类型 描述 fieldName String 字段名称 type String 字段类型 content String 内容 isAnalysis Boolean 是否解析 index
转储后的日志。 当前LTS支持以下表1,请根据您的业务场景进行日志转储服务选择。 表1 转储服务类型 转储服务类型 使用场景 对象存储服务 OBS 对象存储服务(Object Storage Service,OBS)提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类
由于事务日志是二进制文件,不能直接通过文本编辑器查看其内容。可以使用ZooKeeper 自带的工具(如 zkServer.sh 脚本中的 printlog 命令)来查看和解析事务日志。 快照日志(Snapshot Log): 快照日志是ZooKeeper 内存数据状态的序列化表示,它包含了ZooKeeper数据树在某个时间点的完整副本。
请从下拉列表中选择,一般为有序数据类别。 趋势对比 当X轴为时间数据时,且不设置维度列时,可开启该按钮。 开启后,设置比较对象时间,时间小于等于24小时。设置完成后,将当前时间的数据与对象时间数据进行比较。 图例配置 隐藏图例 开启后,可以隐藏图例和对比值的显示。 图例位置 选择图表顶部或图表右边。
自定义:表示查询指定时间范围的日志数据。 交互模式 使用交互模式之前,请确保日志正常上报,且已经完成结构化分析和索引配置,详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 交互式搜索分析适用于生成简单的分析语句,操作简单,通过在界面上设置搜索条件和指定日志查询时的过滤规则,从而
eus实例,操作简单且功能强大。 前提条件 已创建日志生成指标,详情请参见日志生成指标(邀测)。 日志配置结构化,详情请参见设置云端结构化解析日志。 日志生成指标任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“METRIC仪表盘模板 >