华为云首页用户手册

应用平台 APPSTAGE-方案概述:解决方案

应用平台 APPSTAGE-方案概述:解决方案

时间：2025-02-28 10:54:00

应用平台 APPSTAGE 基于运维数仓的数据开发与应用

解决方案

本章节介绍如何通过AppStage运维中心完成对业务实时数据的接入、处理、开发与应用。

图1 数据开发与应用流程

数据接入
AppStage运维中心支持接入虚拟机日志和容器日志，您可以根据日志类型选择日志接入方式。
- 虚拟机日志接入：通过日志配置下发任务部署filebeat，并根据日志采集配置设置，通过filebeat采集虚拟机上的业务日志。
- 容器日志接入：安装daemonset插件，通过daemonset实现容器日志接入。
（可选）如果需要将原始日志转化为JSON格式，可以在日志接入时选择算子清洗方式对日志数据做清洗，数据清洗如数据清洗说明所示。
数据导流
接入的日志数据存在于对应的Topic中，需要创建导流任务，将数据存储在对应的数据库中才能进行日志检索、日志数据的管理和后续开发。
（可选）数据汇聚：当日志量较大且不需要关注原始日志时可以对实时日志进行日志汇聚。
数据开发
可以使用存入数据库中的数据进行报表开发、实时监控或者异常告警等应用，可以直接写SQL，但是不同数据源写SQL的方式有差异，且有一定难度，AppStage支持使用运维数仓的方式，会自动根据不同数据源生成对应的SQL。
1. 创建逻辑主体：使用运维数仓时首先需要创建逻辑主体。
2. 创建指标：逻辑主体创建成功后，需要创建数据指标。
3. （可选）创建视图：为需要计算的指标创建查询视图，也可以在查询视图的基础上创建持久化视图或长期存储视图。
数据应用
- 使用报表对业务进行实时监控：使用运维数仓中的指标或视图创建业务报表，实时监控业务数据。
- 通过日志检索进行问题定位：日志接入并创建导流任务后，可以对已接入的日志进行检索，定位业务异常问题。
- 数据异常告警：支持通过异常检测上报告警和配置虚拟机异常告警，根据业务需要进行配置。

上一篇：应用平台 APPSTAGE-方案概述:数据清洗说明

下一篇：应用平台 APPSTAGE-方案概述:数据清洗说明

开年采购季抽奖赢万元免单

立即前往

续费同价 L实例 2核2G 4M

98元/年

企业专享 X实例 2核4G 5M

198元/年

热门域名 1元随心购

1元/年起

应用平台 APPSTAGE-方案概述:解决方案

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题