数据湖探索 DLI-典型场景示例:配置弹性资源池队列扩缩容策略:场景介绍

时间:2024-12-13 17:52:52

场景介绍

一个企业有多个部门,多个部门不同业务数据分析的时间段可能有所差异,具体场景如下:

  • A部门:在00:00-09:00时间段内资源请求量大,其他时间段有短时间的资源请求量不大的任务运行。
  • B部门:在10:00-22:00时间段内资源请求量大,其他时间段内也有固定周期的作业请求也需要保障。

针对上述场景,弹性资源池上可以添加两个队列,队列test_a用于运行A部门的作业任务,队列test_b运行B部门的作业任务。两个部门请求量大的任务时间段固定,则可以在test_a和test_b队列上分别添加两个时间段00:00-09:00和10:00-23:00的扩缩容策略,其他时间段的作业任务通过配置队列的默认扩缩容策略进行保障。

表1 队列扩缩容策略

队列名

新增的扩缩容时间段

新增的扩缩容时间段优先级

新增的扩缩容时间段最小和最大CU

默认扩缩容时间段

默认时间段优先级

默认扩缩容时间段最小和最大CU

备注

test_a

[00:00,09:00)

20

最小CU:64

最大CU:128

新增的扩缩容时间段[00:00,09:00)以外的时间段范围

5

最小CU:16

最大CU:32

运行A部门作业

test_b

[10:00,23:00)

20

最小CU:64

最大CU:128

新增的扩缩容时间段[10:00,23:00)以外的时间段范围

5

最小CU:32

最大CU:64

运行B部门作业

support.huaweicloud.com/usermanual-dli/dli_01_0516.html