数据湖探索 DLI-创建弹性资源池并添加队列:在弹性资源池中添加队列
在弹性资源池中添加队列
创建完弹性资源池后,弹性资源池需要添加一个或多个队列用于后续作业的运行。本节操作介绍在弹性资源池中添加队列的操作步骤。
添加到弹性资源池中的队列不再单独计费,以弹性资源池为计费项计费。
当弹性资源池添加队列时会引起弹性资源CUs扩缩容变化。
- 在左侧导航栏单击“弹性资源池”,可进入弹性资源池管理页面。
- 选择要操作的弹性资源池,在“操作”列,单击“添加队列”。
- 在“添加队列”界面,首先需要配置队列的基础配置,具体参数信息如下。
表3 弹性资源池添加队列基础配置 参数名
参数描述
名称
弹性资源池添加的队列名称。
类型
- SQL队列:用于运行SQL作业。
- 通用队列:用于运行Spark作业 、Flink 作业。
执行引擎
如果队列类型选择为“SQL队列”,则可以选择队列引擎是:Spark或者HetuEngine
HetuEngine类型的SQL队列最小CU不能小于96CUs。
企业项目
选择队列的企业项目。弹性资源池支持添加不同企业项目的队列资源。
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。
关于如何设置企业项目请参考《企业管理用户指南》。
说明:只有开通了企业管理服务的用户才显示该参数。
描述
弹性资源池添加队列的描述信息。
标签
使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。
如您的组织已经设定 DLI 的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。
具体请参考《标签管理服务用户指南》。
说明:- 最多支持20个标签。
- 一个“键”只能添加一个“值”。
- 每个资源中的键名不能重复。
- 标签键:在输入框中输入标签键名称。
说明:
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。
- 标签值:在输入框中输入标签值。
说明:
标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
- 单击“下一步”,在“扩缩容策略”界面配置当前队列在弹性资源池的扩缩容策略。
图1 添加队列时配置扩缩容策略
单击“新增”,可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。每条扩缩容策略的参数说明如下:
表4 扩缩容策略参数说明 参数名
参数描述
优先级
当前弹性资源池中的优先级数字越大表示优先级越高。当前优先级支持的范围为:1到100。
时间段
时间段设置仅支持整点,左侧为开始时间,右侧为结束时间。请注意以下说明:
- 同一队列不同优先级的时间段区间不能有交集。
最小CU
当前扩缩容策略支持的最小CU数。
- 在全天的任意一个时间段内,弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。
- 当队列的最小CUs小于16CUs时,在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。了解队列属性设置。
HetuEngine类型的SQL队列最小CU不能小于96CUs。
最大CU
当前扩缩容策略支持的最大CU数。
在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。
- 首条扩缩容策略是默认策略,不能删除和修改时间段配置。
- Flink作业不支持触发弹性资源池队列的自动扩缩容。
- 单击“确定”完成添加队列配置。弹性资源池队列添加完成后,可以参考调整弹性资源池中队列的扩缩容策略查看弹性资源池添加的所有队列配置和策略信息。