数据湖探索 DLI-典型场景示例:配置弹性资源池队列扩缩容策略:场景介绍
场景介绍
一个企业有多个部门,多个部门不同业务数据分析的时间段可能有所差异,具体场景如下:
- A部门:在00:00-09:00时间段内资源请求量大,其他时间段有短时间的资源请求量不大的任务运行。
- B部门:在10:00-22:00时间段内资源请求量大,其他时间段内也有固定周期的作业请求也需要保障。
针对上述场景,弹性资源池上可以添加两个队列,队列test_a用于运行A部门的作业任务,队列test_b运行B部门的作业任务。两个部门请求量大的任务时间段固定,则可以在test_a和test_b队列上分别添加两个时间段00:00-09:00和10:00-23:00的扩缩容策略,其他时间段的作业任务通过配置队列的默认扩缩容策略进行保障。
队列名 |
新增的扩缩容时间段 |
新增的扩缩容时间段优先级 |
新增的扩缩容时间段最小和最大CU |
默认扩缩容时间段 |
默认时间段优先级 |
默认扩缩容时间段最小和最大CU |
备注 |
---|---|---|---|---|---|---|---|
test_a |
[00:00,09:00) |
20 |
最小CU:64 最大CU:128 |
新增的扩缩容时间段[00:00,09:00)以外的时间段范围 |
5 |
最小CU:16 最大CU:32 |
运行A部门作业 |
test_b |
[10:00,23:00) |
20 |
最小CU:64 最大CU:128 |
新增的扩缩容时间段[10:00,23:00)以外的时间段范围 |
5 |
最小CU:32 最大CU:64 |
运行B部门作业 |