MAPREDUCE服务 MRS-Yarn与其他组件的关系:Yarn和MapReduce的关系
Yarn和MapReduce的关系
MapReduce是运行在Yarn之上的一个批处理的计算框架。MRv1是Hadoop 1.0中的MapReduce实现,它由编程模型(新旧编程接口)、运行时环境(由JobTracker和TaskTracker组成)和数据处理引擎(MapTask和ReduceTask)三部分组成。该框架在扩展性、容错性(JobTracker单点)和多框架支持(仅支持MapReduce一种计算框架)等方面存在不足。MRv2是Hadoop 2.0中的MapReduce实现,它在源码级重用了MRv1的编程模型和数据处理引擎实现,但运行时环境由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源管理系统,而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。
- MapReduce服务_什么是Yarn_如何使用Yarn
- 云数据库 GaussDB(for MySQL)与华为云其他服务的关系
- 云数据库 RDS for MySQL与华为云其他服务的关系
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是Flink_如何使用Flink
- MapReduce服务_什么是MapReduce服务_什么是HBase