应用平台 APPSTAGE-数据清洗:FileBeat采集端数据清洗

时间:2024-07-11 09:49:06

FileBeat采集端数据清洗

在做日志接入创建日志空间时可以配置算子清洗策略完成日志数据清洗,如图1所示,算子清洗功能及使用样例请参见算子清洗功能介绍

图1 算子清洗
  • 清洗规则:选择“算子清洗”。
  • 日志样例:使用典型日志,用来做清洗验证。
  • 解析脚本:配置解析脚本,将日志样例清洗为字段显示。解析脚本中不支持使用中划线,支持使用下划线。
  • 清洗字段:配置解析脚本后单击“配置解析脚本”,自动生成清洗自动,查看字段是否符合预期。
support.huaweicloud.com/bestpractice-appstage/appstage_09_0004.html