Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
局点暂不支持该功能。 前提条件 已成功采集到日志。 对日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 日志结构化后字段名称与系统SQL内置保留字段名称相同,或者字段名称中带有中划线、下划线、小数点这三种特殊字符时,SQL查询需要加英文双引号。系统SQL内置保留字
在Windows中,建议Grafana安装在非系统盘,否则可能会出现没有权限打开Grafana配置文件的情况。 本机上安装Grafana后,在浏览器中输入localhost:3000进行访问,初始账号密码是admin/admin。 下载LTS-Grafana插件压缩包。 需要在云日志服务控制台开通可视化功能才能使用
TS支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 约束限制 管道符搜索方式的功能在邀测中,暂不支持申请开通。 日志结构化 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置。结构化
按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。云日志服务每小时上报一次话单,以小时为周期统计云日志服务所有资源的使用量,并按照使用量结算费用。具体扣费规则可以参考按需产品周期结算说明。 查看指定资源的账单 按日志流维度上报话单功能仅支持白名单用户,若您需要使用可以提工单申请开通。
什么是云日志服务 云日志服务(Log Tank Service,简称LTS)是高性能、低成本、功能丰富、高可靠的日志平台。 提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能,满足应用运维、等保合规和运营分析等应用场景需求。 介绍视频 LTS的核心价值 云日
主机或非华为云主机安装UniAgent。例如自建IDC(Internet Data Center,互联网数据中心)、第三方云厂商或华为云跨Region主机等。 安装UniAgent的限制说明 当前新版安装UniAgent功能受限开放,如有需求可以通过提交工单,为您开放此功能。 待
若关闭日志存储,则无法开启日志存储时间。 开启“日志存储”:日志将会被存入搜索引擎,能使用日志全量功能。 关闭“日志存储”:日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 日志存储时间(天) 日志流的存储时间,即日志上报到LTS后日志存储的时间。
在LTS页面创建消息模板 消息模板是告警通知消息的固定格式,系统发送告警通知消息必须使用消息模板向订阅者发送。支持内置消息模板,不同协议的订阅者优先选择模板名称对应的协议模板,如果对应的协议模板不存在,则采用内置的消息模板。使用消息模板发送告警通知消息时,系统会自动将模板变量替换为告警规则中的内容。
查询结构化日志(新版) 功能介绍 该接口用于查询指定日志流下的结构化日志内容(新版)。 新版查询功能支持的局点信息请参考用户指南-日志可视化里的可视化章节。数据聚合结果不超过100亿条。仅支持分析最近30天内的数据,30天以上的数据不支持SQL分析。如您有更大的使用需求,请提工单申请。
限最小化的安全管控要求。 如表1所示,包括了LTS的所有系统权限。 表1 LTS系统权限 策略名称 描述 策略类别 依赖关系 LTS FullAccess 云日志服务的所有权限,拥有该权限的用户可以操作并使用LTS。 系统策略 CCE Administrator、OBS Administrator、AOM
升级失败 该服务器的ICAgent升级失败。 离线 输入的AK/SK错误导致该主机的ICAgent功能异常。请获取正确的AK/SK后重新安装。 异常 该主机ICAgent功能异常,请联系技术支持。 卸载中 正在卸载该主机。卸载ICAgent预计需要1分钟左右,请耐心等待。 鉴权错误
若开启“结构化解析配置”不用设置该参数。用于设置每条日志的行首显示日志的采集时间,本示例开启“系统时间”开关。 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 系统时间 单击“下一步:索引配置”,进入索引配置页面,按照界面默认参数配置即可,通过配置索引
Balance,简称ELB)是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力,同时通过消除单点故障提升应用系统的可用性,支持查看和分析对七层负载均衡HTTP和HTTPS进行请求的详细访问日志记录,包括请求时间、客户端IP地址、请求路径和服务器响应等。
Balance,简称ELB)是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力,同时通过消除单点故障提升应用系统的可用性,支持查看和分析对七层负载均衡HTTP和HTTPS进行请求的详细访问日志记录,包括请求时间、客户端IP地址、请求路径和服务器响应等。
如何转储云审计服务CTS的日志? 云审计CTS与LTS进行系统对接后,系统自动在云日志服务控制台创建日志组和日志流,如果需要将CTS的日志转储至OBS中,您需要进行以下操作: 在云审计服务管理控制台,单击左侧导航栏中的“追踪器”。 单击追踪器“system”操作列的“配置”。 进入基本信息页面,单击下一步。
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS
其语法结构主要由三部分构成:针对非结构化数据和半结构化数据的搜索语句、管道符“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value) 约束限制 管道符搜索方式的功能在邀测中,暂不支持申请开通。 日志搜索分析
Name System,域名系统)是互联网的一项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。当用户在浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。 DNS日志是记录域名系统相关活动的记录文件。
您即将访问非华为云网站,请注意账号财产安全