MapReduce服务 MRS-作业管理

时间：2025-02-12 15:03:44

MapReduce服务 MRS

作业管理

MRS 作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。

结合华为云数据治理中心 DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。

通过数据治理中心 DataArts Studio ，用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。

目前MRS集群支持在线创建如下几种类型的作业：

MapReduce：提供快速并行处理大量数据的能力，是一种分布式数据处理模式和执行环境，MRS支持提交MapReduce Jar程序。
Spark：基于内存进行计算的分布式计算框架，MRS支持提交SparkSubmit、Spark Script和Spark SQL作业。
- SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。
- SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。
- Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。
Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。
Flink：提供一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。
HadoopStreaming：HadoopStreaming作业像普通Hadoop作业一样，除了可以指定输入和输出的HDFS路径的参数外，它还可以指定mapper和reducer的可执行程序。