数据湖探索 DLI-设置作业优先级:操作场景

时间:2024-04-18 09:17:33

操作场景

在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。

DLI 提供的设置作业优先级功能,可以对每个Spark作业、Spark SQL作业以及Flink作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。

  • 只有运行在弹性资源池上的作业支持设置作业优先级。
  • 弹性资源池上的SQL作业支持作业优先级。
  • Spark 2.4.5及以上版本的作业支持设置作业优先级。
  • Flink 1.12及以上版本的作业支持设置作业优先级。
support.huaweicloud.com/usermanual-dli/dli_01_0535.html