MAPREDUCE服务 MRS-YARN应用开发简介:基本概念

时间:2024-06-29 14:11:08

基本概念

  • ResourceManager(RM)

    RM是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。

  • ApplicationMaster(AM)

    用户提交的每个应用程序均包含一个AM,主要功能包括:

    • 与RM调度器协商以获取资源(用Container表示)。
    • 将得到的资源进一步分配给内部任务。
    • 与NM通信以启动/停止任务。
    • 监控所有任务的运行状态,并在任务运行失败时重新为任务申请资源以重启任务。
  • NodeManager(NM)

    NM是每个节点上的资源和任务管理器,一方面,它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态;另一方面,它会接收并处理来自AM的Container启动/停止等各种请求。

  • Container

    Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。

support.huaweicloud.com/devg3-mrs/mrs_07_430001.html