MAPREDUCE服务 MRS-手动配置Yarn任务优先级:操作场景

时间:2024-07-02 16:39:31

操作场景

集群的资源竞争场景如下:

  1. 提交两个低优先级的应用Job 1和Job 2。
  2. 正在运行中的Job 1和Job 2有部分task处于running状态,但由于集群或队列资源容量有限,仍有部分task未得到资源而处于pending状态。
  3. 提交一个较高优先级的应用Job 3,此时会出现如下资源分配情况:当Job 1和Job 2中running状态的task运行结束并释放资源后,Job 3中处于pending状态的task将优先得到这部分新释放的资源。
  4. Job 3完成后,资源释放给Job 1、Job 2继续执行。

用户可以在YARN中配置任务的优先级。任务优先级是通过ResourceManager的调度器实现的。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0873.html