华为云首页用户手册

应用平台 APPSTAGE-运维数据开发概述

应用平台 APPSTAGE-运维数据开发概述

时间：2024-04-25 17:12:10

应用平台 APPSTAGE 运维数据开发

运维数据开发概述

监控服务提供对运维数据进行处理的能力，请参见表1。

表1 运维数据开发功能说明
功能	数据类型	说明
数据管理	Kafka	按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。
	HDFS	分布式文件系统，用于离线日志接入原始数据存储。
	Hive	可实现大规模分析的分布式容错数据仓库系统，用于离线日志接入处理后的数据存储。
	MPPDB	Shared Nothing架构的分布式并行结构化数据库集群，用于离线日志接入处理后的数据及实时日志接入汇聚后的数据的长期存储。
	ClickHouse	面向联机分析处理的列式数据库，用于日志接入原始数据存储和汇聚后的数据存储及原始日志检索。
	Druid	分布式的、支持实时多维OLAP分析、列式存储的数据处理系统，用于汇聚数据的短期存储及快速查询。
	CSS	CS S是一个基于Apache Lucene(TM)的开源搜索引擎，用于原始日志存储及日志检索。
	Influxdb	专门处理高写入和查询负载的时序数据库，用于存储大规模的时序数据并进行实时分析。
	Prometheus	开源的系统监控和警报工具，用于主机监控。
	OBS	对象存储，用于原始日志存储。
	CES	将CES上收集的云服务内置监控指标数据采集到Kafka中。
离线开发	Batch Task	离线任务，用于处理离线接入的数据。
数据汇聚	Druid汇聚	用于将Druid的数据汇聚到MPPDB中。
	MPPDB汇聚	用于将MPPDB的数据汇聚到MPPDB中。
	ClickHouse汇聚	用于将ClickHouse的数据汇聚到MPPDB中。
	Influxdb汇聚	用于将Influxdb的数据汇聚到MPPDB中。
数据开放	-	提供令牌管理功能，可以通过令牌完成数据源的鉴权，获取数据使用权限。
数据治理	-	提供指标、视图、标签等功能，方便使用数据。

父主题： 运维数据开发

上一篇：应用平台 APPSTAGE-APP类型插件说明:file_regexp

下一篇：应用平台 APPSTAGE-运维数据开发概述

应用平台 APPSTAGE-运维数据开发概述

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题