华为云首页用户手册

MAPREDUCE服务 MRS-多租户资源管理:调度器增强

MAPREDUCE服务 MRS-多租户资源管理:调度器增强

时间：2024-04-01 09:39:25

MAPREDUCE服务 MRS

调度器增强

多租户根据调度器类型分为开源的Capacity调度器和华为自主研发的增强型Superior调度器。

为满足企业需求，克服YARN社区在调度上遇到的挑战与困难，华为自主研发的Superior调度器，不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强：

增强资源共享策略
 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例， MRS 集群管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。
基于租户的资源预留策略
 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。
租户和资源池的用户公平共享
 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。
大集群环境下的调度性能优势
 Superior调度器接收到各个NodeManager上报的心跳信息，并将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了push调度模型，令调度更加精确、高效，大大提高了大集群下的资源使用率。另外，Superior调度器在NodeManager心跳间隔较大的情况下，调度性能依然优异，不牺牲调度性能，也能避免大集群环境下的“心跳风暴”。
优先策略
 当某个服务在获取所有可用资源后还无法满足最小资源的要求，则会发生优先抢占。抢占功能默认关闭。

上一篇：MAPREDUCE服务 MRS-多租户资源管理:特性简介

下一篇：MAPREDUCE服务 MRS-多租户资源管理:特性简介

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-多租户资源管理:调度器增强

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题