云服务器内容精选

华为云首页用户手册

基于运维数仓的数据开发与应用

应用平台 AppStage-数据汇聚:FileBeat采集端汇聚

FileBeat采集端汇聚采集端汇聚是在采集端清洗的基础上实现的，针对资源受限而日志总量大，单节点流量可控，需要优先保证统计分析数据正常上报的场景，前置汇聚可以很明显的缓解统计分析告警延迟的问题，同样可以更进一步节省整体资源占用。采集端汇聚需要额外占用内存和磁盘存储空间，用来存储汇聚后的维度和度量数据，磁盘存储占用默认限制在100MB，内存占用最大为100000个不同的维度值大小。在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚，如图1所示。图1 数据汇聚开启汇聚：选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇聚。开启后需要配置汇集相关参数。汇聚粒度：开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。汇聚时间戳：仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。时间戳格式：选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。汇聚维度：结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。汇聚度量：设置对日志字段以COUNT、SUM、MAX、MIN进行度量。原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。

应用平台 AppStage 基于运维数仓的数据开发与应用