检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
创建LTS快速分析 日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等。当您需要了解这些信息时,可以通过快速分析功能,查询指定日志关键词,云服务日志LTS针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
创建LTS快速分析 日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等,当您需要了解这些信息时,可以通过快速分析功能,指定查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
nt(区域外主机)。 区域内主机就是主机所在区域和用户登录云日志服务控制台所在的区域相同,例如华为-北京四。 区域外主机就是主机所在区域和用户登录云日志服务控制台所在区域不同,例如华为云其他区域、第三方都属于区域外主机。 功能优势 基于日志文件,无侵入式采集日志。您无需修改应用程
日志告警限制 本文介绍云日志服务告警的限制。 表1 告警限制说明 类别 限制项 说明 备注 告警监控 告警规则数量 您在1个华为账号下最多可创建200个告警。 如您有更大的使用需求,请提交工单申请。 搜索和分析条件组合个数 关键词搜索为1个,SQL分析个数为1-3个。 不涉及。 查询时间范围
Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。详细如下:LTS权限管理。 父主题: 安全
问题总览 本文汇总云日志服务的常见问题。 产品咨询问题 AOM1.0、AOM2.0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势?
关键词个数 关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。 如您有更大的使用需求,请提交工单申请。 操作并发数 您在1个华为账号下支持的最大查询操作并发数为200个。 如您有更大的使用需求,请提交工单申请。 返回结果 通过控制台查询:默认最多返回250条查询结果。
> 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。云日志服务每小时上报一次话单,以小时为周期统计云日志服务所有资源的使用量,并按照使用量结算费用。具体扣费规则可以参考按需产品周期结算说明。
创建消费组 您可以在华为云LTS控制台为日志流创建消费组,使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,只需要支付少量的存储费用即可。当
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
滤和转发。 Kibana是一个开源的分析和可视化平台,用于数据的可视化、仪表盘创建和搜索查询。通常与Elasticsearch一起使用。 华为云日志服务LTS在功能丰富度、成本、性能方面优于开源ELK方案,具体对比可以参考云日志服务LTS对比自建ELK Stack有什么优势?。本
Balance,简称ELB)是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力,同时通过消除单点故障提升应用系统的可用性,支持查看和分析对七层负载均衡HTTP和HTTPS进行请求的详细访问日志记录,包括请求时间、客户端IP地址、请求路径和服务器响应等。
事件以及客户端执行的命令等信息。Redis的日志主要有系统日志和慢查询日志。 系统日志(System Log): 记录Redis服务器的启动、关闭、配置加载、持久化操作(如 RDB 和 AOF)等系统级事件。 Redis的系统日志级别包括debug、verbose、notice、
志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 日志组规划建议:将一个应用系统的日志放在一个日志组中,日志组的名称可以使用应用系统的名称。 日志流规划建议: 如果您的日
Balance,简称ELB)是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力,同时通过消除单点故障提升应用系统的可用性,支持查看和分析对七层负载均衡HTTP和HTTPS进行请求的详细访问日志记录,包括请求时间、客户端IP地址、请求路径和服务器响应等。
如何转储云审计服务CTS的日志? 云审计CTS与LTS进行系统对接后,系统自动在云日志服务控制台创建日志组和日志流,如果需要将CTS的日志转储至OBS中,您需要进行以下操作: 在云审计服务管理控制台,单击左侧导航栏中的“追踪器”。 单击追踪器“system”操作列的“配置”。 进入基本信息页面,单击下一步。
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS