检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志搜索与分析概述 日志搜索与分析是运维中不可或缺的一环。日志接入成功后,云日志服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置
调度间隔 调度定时SQL任务的频率,每调度一次定时SQL任务将产生一个执行实例。调度间隔决定每个执行实例的调度时间。 每小时:每隔一小时调度一次定时SQL任务。 每天:在每天的某个固定时间点调度一次定时SQL任务。 每周:在周几的某个固定时间点调度一次定时SQL任务。 固定间隔:按照固定间隔调度定时SQL任务。
日志生成指标(邀测) 支持创建日志指标规则,将上报到LTS的日志数据提取为指标来统一管理,便于后续在应用运维管理控制台的指标浏览、仪表盘界面实时查看数据。 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组
目前此功能在邀测中,暂不支持申请开通。 表1 基本概念 概念 说明 消费组 一个消费组只能对应一个日志流且消费这个日志流的数据。 一个日志流只能创建5个消费组。 一个消费组可以被多个消费者消费,每个消费者不会重复消费数据。 同一个租户(Project_Id)下,消费组名称唯一。 消费者 消费组的基本构成单元,承担消
r;log"等搜索的也是包含目标短语var log的日志。 中文搜索推荐采用短语搜索。 由于中文默认采用的是一元分词,每个汉字单独分词,搜索时会匹配同时包含搜索语句中每一个汉字的日志,本身便具有模糊搜索的特性,当需要更加精确的结果时,推荐采用短语搜索。 运算符 查询语句支持如下运算符。
\} 压缩格式 支持自动检测、不压缩、压缩gzip、压缩zip、压缩snappy。如果是zip压缩文件,只能包含一个文件,不能有任何文件夹。 导入间隔 一次性:只导入一次,云日志服务不会检测新出现的文件。 固定间隔:设置固定时间导入文件,云日志服务会检测新出现的文件,并导入云日志服务。
行结算。云日志服务每小时上报一次话单,以小时为周期统计云日志服务所有资源的使用量,并按照使用量结算费用。具体扣费规则可以参考按需产品周期结算说明。 查看指定资源的账单 按日志流维度上报话单功能仅支持白名单用户,若您需要使用可以提工单申请开通。 【样例一(LTS):使用企业项目ID
返回结果 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,详情请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响
字段,分组指用圆括号"()"括起来的正则表达式,匹配出的内容就表示一个分组,分组包含如下三种形式: (exp):把括号内的正则作为一个分组,系统自动分配组号,规则为从正则表达式的左边开始,第一个左括号“(”对应第一个分组,第二个“(”对应第二个分组,依次类推,组号从1开始,从左向右,依次累加。
字段,分组指用圆括号"()"括起来的正则表达式,匹配出的内容就表示一个分组,分组包含如下三种形式: (exp):把括号内的正则作为一个分组,系统自动分配组号,规则为从正则表达式的左边开始,第一个左括号“(”对应第一个分组,第二个“(”对应第二个分组,依次类推,组号从1开始,从左向右,依次累加。
在云日志服务仪表盘中添加过滤器,即对整个仪表盘进行查询过滤或变量替换操作。 过滤器用于为仪表盘中的所有统计图表批量修改查询条件。每张统计图表实际为一个查询和分析语句,过滤器实质上是操作该查询和分析语句。 过滤器类型:通过日志字段的Key和Value进行过滤。在执行过滤器操作时,将其作为过
日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgent结构化解析,且一个日志流只能配置一种结构化方式,
日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgent结构化解析,且一个日志流只能配置一种结构化方式,
如果浮点数编码位数超过52位,会造成精度损失。 不涉及。 IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。 SQL分析时间范围 仅支持分析30天内的数据,30天以上的数据不支持SQL分析。
到3个图表,每个图表包含一条查询某个日志流的SQL查询语句。 日志可视化相关的功能支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、华东-上海二、中国-香港、西南-贵阳一、亚太-新加坡、华北-北京一;支持部分白名单用户使用的
以下是两个接口的适用场景和各区域访问IP: 表1 适用场景 API名称 日志时间 举例说明 适用场景 上报日志 用户调用API上传一批日志时,通过log_time_ns字段指定一个初始时间。 每一条日志的日志时间,使用log_time_ns+顺序计数得到。 { "log_time_ns": "1586850540000000000"
云服务接入LTS概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称
不涉及。 仪表盘 一个华为账号最多可创建100个仪表盘。 如您有更大的使用需求,请提工单申请。 一个华为账号最多可创建100个仪表盘模板。 一个华为账号最多可创建200个仪表盘分组。 一个华为账号最多可创建200个仪表盘模板分组。 一个仪表盘最多可创建50个图表。 一个仪表盘最多可添加10个过滤器。
开启“允许文件多次采集”后,同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本,详见查看ICAgent版本说明。 关闭“允许文件多次采集”后,采集路径不能重复配置,即同一主机下的同一日志文件,即使跨日志流,也只能配置一次。 容器文件路径 采集集群内指定容器内的文件日志。
continues) 字段含义。 在上面的示例中,第一个日志条目是KafkaServer在启动时产生的信息日志;第二个是一个警告,表明某个分区的一个同步副本(in-sync replica)与broker断开了连接;第三个是一个错误日志,表明在控制器故障转移期间发生了错误,并尝试为某个分区选择新的领导者时失败了。