检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
录了客户端访问Nginx服务器的详细信息。通过访问日志,您可以了解到用户的IP地址、访问的URL、访问时间、请求的处理时间、HTTP响应状态码、请求的头部信息等。 错误日志(error_log):错误日志记录了Nginx服务器在处理请求过程中遇到的错误和警告信息。通过查看错误日志
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
在创建仪表盘页面,单击“开始添加图表”,进入添加可视化图表界面,选择目标日志新建的可视化图表。 完成后,单击“确定”。 添加过滤器 根据设置的变量添加过滤器的操作步骤如下: 在左侧导航栏中,选择“仪表盘”。 在仪表盘下方,选择仪表盘分组。 单击待操作的仪表盘名称,进入仪表盘详情页面。 单击,在过滤器页面中,配置相关参数,单击“确定”。
通道名称 选择已创建的DIS通道。如果没有可选择的通道,单击“查看DIS通道”,进入数据接入服务管理控制台,创建接入通道。 - 转储格式 用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。 原始日志格式示例: 云日志服务控制台展示的日志内容的格式为原始日志格式。 Sep
在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
云日志服务LTS提供的500M免费额度怎么算? 云日志服务的计费功能包括:日志读写流量、日志索引流量、标准存储量、冷存储量、转储费用,详细请参考计费项。关于500M免费额度的具体说明如下: 日志读写流量:按流量计费,每月免费赠送您500M额度,超过后按需收费。 日志索引流量:按流
日志存储时间(天) 日志流的存储时间,即日志上报到LTS后日志存储的时间。 日志数据默认存储30天,可以在1~365天之间设置。 打开日志流的“日志存储时间”:日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”:日志的存储时间使用日志组设置的日志存储时间。 超出
使用FunctionGraph服务提供的函数模板进行日志加工 云日志服务提供函数加工,您可以基于函数服务提供的函数模板或者自定义函数,实现日志规整、流转、脱敏、过滤等功能。 约束与限制 目前此功能仅支持以下局点,其他局点需要提交工单申请使用。详细操作请参考提交工单。 华北-北京四
其中五个字段的索引,这五个字段的数据量为50GB。 日志标准存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此案例,具体消费情况如下表2所示。 此案例中的单价仅为示例,且计算出的费用为估算值。
使用ICAgent采集日志时,推荐的日志轮转方案是什么? 日志轮转也叫日志切割或日志绕接,通俗来讲是对日志文件的大小进行控制。 软件系统通常会长时间的不停机运行,这样会产生很多信息记录到不同的日志中。随着时间的推移,日志的容量自然会越来越大,而硬盘的空间是有限的,就需要对日志文件的大小进行控制。
在主机组列表,单击待修改的主机组所在行前的。 在主机页签,单击待移除主机所在行操作列的“移除”。 在弹出的移除主机页面,单击“确定”,将该主机移除。 自定义标识主机组下的主机不支持该操作。 取消部署 在主机组列表,单击待修改的主机组所在行前的。 在主机页签,单击待移除主机所在行操作列的“取消部署”。
日志转储后,LTS会删除转储的日志内容吗? 日志转储功能只能转发已有日志,不会删除日志内容。云日志服务LTS会根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列的OBS桶名称,
完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 ICAgent结构化解析规则 日志接入前,您需要提前了解ICAgent采集的结构化解析规则,方便快速操作。支持组合解析,一个日志流的每个采集配
采集路径配置错误的话,修改采集路径。例如采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。更多关于日志采集路径的说明请参见:配置日志采集规则。 LTS控制台上的“配置中心 > IC
在LTS页面无法查询新产生的日志怎么办? 问题现象 在LTS页面无法查询新产生的日志。 对系统的影响 导致用户无法查询业务日志。 可能原因 LTS控制台上的“ICAgent采集开关”被关闭。 ICAgent上报日志到LTS失败。 在LTS控制台设置的采集配置下发到ICAgent有误。
通过日志流标签统计不同部门在LTS的费用开销 为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。您可以在“账单管理 > 流水和明细账单 > 明细账单”下载LTS的明细账单信息,然后基于资源
通过日志流标签统计不同部门在LTS的费用开销 为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。您可以在“账单管理 > 流水和明细账单 > 明细账单”下载LTS的明细账单信息,然后基于资源
Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS主机,详细请参考购买弹性云服务器。如果您已有可用的ECS主机,可重复使用,不需要再次创建。
示例4:查询指定日志组下的所有日志流 场景描述 本章以查询指定日志组下的所有日志流信息为例。 涉及其它云服务接口 无。 查询日志流 接口相关信息 URI格式:GET /v2/{project_id}/groups/{log_group_id}/streams 请求示例 GET h