应用平台 APPSTAGE-数据汇聚:FileBeat采集端汇聚

时间：2024-12-31 15:41:41

应用平台 APPSTAGE

采集端汇聚是在采集端清洗的基础上实现的，针对资源受限而日志总量大，单节点流量可控，需要优先保证统计分析数据正常上报的场景，前置汇聚可以很明显的缓解统计分析告警延迟的问题，同样可以更进一步节省整体资源占用。

采集端汇聚需要额外占用内存和磁盘存储空间，用来存储汇聚后的维度和度量数据，磁盘存储占用默认限制在100MB，内存占用最大为100000个不同的维度值大小。

在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚，如图1所示。

图1 数据汇聚

开启汇聚：选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇聚。
开启后需要配置汇集相关参数。
汇聚粒度：开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。
汇聚时间戳：仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。
时间戳格式：选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。
汇聚维度：结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。
汇聚度量：设置对日志字段以COUNT、SUM、MAX、MIN进行度量。
原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。