应用平台 APPSTAGE-运维数据开发概述

时间:2024-04-25 17:10:07

运维数据开发概述

监控服务提供对运维数据进行处理的能力,请参见表1

表1 运维数据开发功能说明

功能

数据类型

说明

数据管理

Kafka

按照分布式事务日志架构的大规模发布/订阅消息队列,用于日志数据及spark和flink清洗后的数据存储的消息队列。

HDFS

分布式文件系统,用于离线日志接入原始数据存储。

Hive

可实现大规模分析的分布式容错 数据仓库 系统,用于离线日志接入处理后的数据存储。

MPPDB

Shared Nothing架构的分布式并行结构化数据库集群,用于离线日志接入处理后的数据及实时日志接入汇聚后的数据的长期存储。

ClickHouse

面向联机分析处理的列式数据库,用于日志接入原始数据存储和汇聚后的数据存储及原始日志检索。

Druid

分布式的、支持实时多维OLAP分析、列式存储的数据处理系统,用于汇聚数据的短期存储及快速查询。

CSS

CS S是一个基于Apache Lucene(TM)的开源搜索引擎,用于原始日志存储及日志检索。

Influxdb

专门处理高写入和查询负载的 时序数据库 ,用于存储大规模的时序数据并进行实时分析。

Prometheus

开源的系统监控和警报工具,用于主机监控。

OBS

对象存储,用于原始日志存储。

CES

将CES上收集的云服务内置监控指标数据采集到Kafka中。

离线开发

Batch Task

离线任务,用于处理离线接入的数据。

数据汇聚

Druid汇聚

用于将Druid的数据汇聚到MPPDB中。

MPPDB汇聚

用于将MPPDB的数据汇聚到MPPDB中。

ClickHouse汇聚

用于将ClickHouse的数据汇聚到MPPDB中。

Influxdb汇聚

用于将Influxdb的数据汇聚到MPPDB中。

数据开放

-

提供令牌管理功能,可以通过令牌完成数据源的鉴权,获取数据使用权限。

数据治理

-

提供指标、视图、标签等功能,方便使用数据。

support.huaweicloud.com/usermanual-appstage/appstage_04_0211.html