数据湖探索 DLI-DLI弹性资源池与队列简介:DLI计算资源模式

时间：2025-01-22 10:52:48

DLI 计算资源模式

DLI提供了三种计算资源的管理模式，每一种模式都有独特的优势和适用场景。

图1 DLI计算资源模式

弹性资源池模式：计算资源的池化管理模式，提供计算资源的动态扩缩容能力，同一弹性资源池中的队列共享计算资源。通过合理设置队列的计算资源分配策略，可以提高计算资源利用率，应对业务高峰期的资源需求。
- 适用场景：适合业务量有明显波动的场合，如周期性的数据批处理任务或实时数据处理需求。
- 支持的队列类型：SQL队列（Spark）、SQL队列（HetuEngine）、通用队列。了解DLI的队列类型请参考DLI队列类型。
  
  弹性资源池模式的通用队列和SQL队列不支持跨可用区。
- 使用方法：先创建弹性资源池，然后在弹性资源池中创建队列并分配计算资源，队列关联到具体的作业和数据处理任务。
  购买弹性资源池并在弹性资源池中添加队列的具体操作步骤请参考创建弹性资源池并添加队列。
全局共享模式：
全局共享模式是一种根据SQL查询中实际扫描的数据量来分配计算资源的模式，不支持指定或预留计算资源。

DLI服务预置的“default”队列即为全局共享模式的计算资源，资源的大小是按需分配的。在不确定数据量大小或偶尔需要进行数据处理的用户，可以使用default队列执行作业。
- 适用场景：适用于测试作业或资源消耗不高的情况。
- 支持的队列类型：仅DLI预置的default队列为全局共享模式的计算资源。
  “default”队列只用于用户体验DLI，是所有人共享的公共资源，使用时可能会出现用户间抢占资源的情况，不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行生产作业。
- 使用方法：default队列仅适用于提交SQL作业，在DLI管理控制台提交SQL作业时选择"default队列"即可。
非弹性资源池模式（废弃，不推荐使用）：
DLI的上一代计算资源管理方式，因缺乏灵活性，目前已不推荐使用。

非弹性资源池模式提供固定规格的计算资源，购买后独占资源，无法根据需求动态调整，可能会导致资源浪费或在需求高峰期资源不足。

表1 DLI计算资源模式与支持的队列类型
DLI计算资源模式	支持的队列类型	资源特点	适用场景
弹性资源池模式	SQL队列（Spark） SQL队列（HetuEngine）通用队列	单用户多队列共享资源资源动态分配，灵活调整	适合业务需求波动较大，需要灵活调整资源以应对波峰波谷的业务场景。
全局共享模式	default队列	多用户多队列共享资源按量付费，不支持预留资源	适合不确定数据量大小或仅需要偶尔进行数据处理的临时或测试项目场景。
非弹性资源池模式（废弃，不推荐使用）	SQL队列通用队列	单用户单队列独享资源无法动态调整，资源可能会闲置	废弃，不推荐使用