MAPREDUCE服务 MRS-调整Yarn任务抢占机制:操作场景

时间:2024-07-02 16:39:29

操作场景

抢占任务可精简队列中的job运行并提高资源利用率,由ResourceManager的capacity scheduler实现,其简易流程如下:

  1. 假设存在两个队列A和B。其中队列A的capacity为25%,队列B的capacity为75%。
  2. 初始状态下,任务1发送给队列A,此任务需要75%的集群资源。之后任务2发送到了队列B,此任务需要50%的集群资源。
  3. 任务1将会使用队列A提供的25%的集群资源,并从队列B获取的50%的集群资源。队列B保留25%的集群资源。
  4. 启用抢占任务特性,则任务1使用的资源将会被抢占。队列B会从队列A中获取25%的集群资源以满足任务2的执行。
  5. 当任务2完成后,集群中存在足够的资源时,任务1将重新执行。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0872.html