华为云首页用户手册

MAPREDUCE服务 MRS-MRS多租户简介:调度器介绍

时间：2024-08-18 05:11:16

MAPREDUCE服务 MRS 管理MRS集群租户

调度器介绍

多租户根据调度器类型分为开源的Capacity调度器和增强型Superior调度器， MRS 集群默认即启用了Superior调度器。

Capacity调度器为开源的容量调节器。
Superior调度器为增强型，Superior取名源自苏必利尔湖，意指由该调度器管理的数据足够大。

调度器类型可通过Yarn服务的“yarn.resourcemanager.scheduler.class”参数值查询。调度器类型切换参考切换MRS租户资源调度器。

为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，Superior调度器不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强：

增强资源共享策略
 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将Yarn的标签调度增强为资源池特性，Yarn集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。
基于租户的资源预留策略
 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。
租户和资源池的用户公平共享
 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。
大集群环境下的调度性能优势
 Superior调度器接收到各个NodeManager上报的心跳信息，并将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了push调度模型，令调度更加精确、高效，大大提高了大集群下的资源使用率。另外，Superior调度器在NodeManager心跳间隔较大的情况下，调度性能依然优异，不牺牲调度性能，也能避免大集群环境下的“心跳风暴”。
优先策略
 当某个服务在获取所有可用资源后还无法满足最小资源的要求，则会发生优先抢占。抢占功能默认关闭。