云服务器内容精选

华为云首页用户手册

创建弹性资源池和队列

数据湖探索 DLI-创建弹性资源池并添加队列:弹性资源池约束与限制

弹性资源池约束与限制不支持切换弹性资源池的计费模式。弹性资源池不支持切换区域。按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。弹性资源池网段设置后不支持更改。弹性资源池关联队列：仅支持关联按需计费模式的队列（包括专属队列）。队列和弹性资源池状态正常，资源未被冻结。当前仅支持包年包月计费模式的弹性资源池进行规格变更。仅支持查看30天以内的弹性资源池扩缩容历史。弹性资源池不支持访问公网。弹性资源池CU设置、弹性资源池中添加/删除队列、修改弹性资源池中队列的扩缩容策略、系统自动触发弹性资源池扩缩容时都会引起弹性资源池CU的变化，部分情况下系统无法保证按计划扩容/缩容至目标CUs：弹性资源池扩容时，可能会由于物理资源不足导致弹性资源池无法扩容到设定的目标大小。弹性资源池缩容时，系统不保证将队列资源完全缩容到设定的目标大小。在执行缩容任务时，系统会先检查资源使用情况，判断是否存在缩容空间，如果现有资源无法按照最小缩容步长执行缩容任务，则弹性资源池可能缩容不成功，或缩容一部分规格的情况。因资源规格不同可能有不同的缩容步长，通常是16CUs、32CUs、48CUs、64CUs等。示例：弹性资源池规格为192CUs，资源池中的队列执行作业占用了68CUs，计划缩容至64CUs。执行缩容任务时，系统判断剩余124CUs，按64CUs的缩容步长执行缩容任务，剩余60CUs资源无法继续缩容，因此弹性资源池执行缩容任务后规格为128CUs。

数据湖探索 DLI 创建弹性资源池和队列
数据湖探索 DLI-创建弹性资源池并添加队列:在弹性资源池中添加队列

在弹性资源池中添加队列创建完弹性资源池后，弹性资源池需要添加一个或多个队列用于后续作业的运行。本节操作介绍在弹性资源池中添加队列的操作步骤。添加到弹性资源池中的队列不再单独计费，以弹性资源池为计费项计费。在左侧导航栏单击“弹性资源池”，可进入弹性资源池管理页面。选择要操作的弹性资源池，在“操作”列，单击“添加队列”。在“添加队列”界面，首先需要配置队列的基础配置，具体参数信息如下。表2 弹性资源池添加队列基础配置参数名参数描述名称弹性资源池添加的队列名称。类型 SQL队列：用于运行SQL作业。通用队列：用于运行Spark作业、Flink 作业。执行引擎如果队列类型选择为“SQL队列”，则可以选择队列引擎是：spark或者trino 企业项目选择队列的企业项目。弹性资源池支持添加不同企业项目的队列资源。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。关于如何设置企业项目请参考《企业管理用户指南》。说明：只有开通了企业管理服务的用户才显示该参数。描述弹性资源池添加队列的描述信息。标签使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。如您的组织已经设定 DLI 的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。具体请参考《标签管理服务用户指南》。说明：最多支持20个标签。一个“键”只能添加一个“值”。每个资源中的键名不能重复。标签键：在输入框中输入标签键名称。说明：标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格，不能以_sys_开头。标签值：在输入框中输入标签值。说明：标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。单击“下一步”，在“扩缩容策略”界面配置当前队列在弹性资源池的扩缩容策略。图1 添加队列时配置扩缩容策略单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。每条扩缩容策略的参数说明如下：表3 扩缩容策略参数说明参数名参数描述优先级当前弹性资源池中的优先级数字越大表示优先级越高。当前优先级支持的范围为：1到100。时间段时间段设置仅支持整点，左侧为开始时间，右侧为结束时间。请注意以下说明：时间区间包括开始时间，不包括结束时间即[开始时间, 结束时间)。例如当前选择的时间段范围为：01--17，则表示当前扩缩容规则生效时间范围为[01,17)。同一队列不同优先级的时间段区间不能有交集。最小CU 当前扩缩容策略支持的最小CU数。在全天的任意一个时间段内，弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。当队列的最小CUs小于16CUs时，在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。了解队列属性设置。最大CU 当前扩缩容策略支持的最大CU数。在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。首条扩缩容策略是默认策略，不能删除和修改时间段配置。 Flink作业不支持触发弹性资源池队列的自动扩缩容。单击“确定”完成添加队列配置。弹性资源池队列添加完成后，可以参考调整弹性资源池中队列的扩缩容策略查看弹性资源池添加的所有队列配置和策略信息。

数据湖探索 DLI 创建弹性资源池和队列
数据湖探索 DLI-典型场景示例：配置弹性资源池队列扩缩容策略:注意事项

注意事项建议对流批业务实施资源池的精细化管理，将Flink实时流类型的作业与SQL批处理类型的作业分别置于独立的弹性资源池中。优势在于：Flink实时流任务具有常驻运行的特质，确保其稳定运行而不会强制缩容，进而避免任务中断和系统不稳定。而SQL批处理类型的作业在独立的资源池中能够更加灵活地进行扩缩容，显著提升扩缩容的成功率和操作效率。在全天的任意一个时间段内，弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。同一队列不同扩缩容策略的时间段区间不能有交集。弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置，并且包含设置的开启时间，不包含设置的结束时间，例如设置时间段00-09，则时间段范围为：[00:00，09:00)。默认的扩缩容策略不支持时间段配置修改。弹性资源池扩缩容策略生效规则为：在任意一个时间段周期内，优先满足所有队列的最小CU数。剩余的CU（弹性资源池最大CU-所有队列的最小CU数之和）则根据配置的优先级顺序分配：如果队列的优先级不同，根据配置的优先级顺序分配，直到剩余的CU数分配完成。如果队列的优先级相同，资源会被随机分配到某一队列，如果分配后资源还有剩余会随机分配到剩下的某一队列中，直到剩余的CU数分配完成。表2 弹性资源池扩缩容CU分配场景说明场景弹性资源池CU数分配说明弹性资源池当前最大CU为256CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下：队列A扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是32，最大CU是128 队列B扩缩容策略：优先级10，时间段：00:00-9:00，最小CU是64，最大CU是128 到了00:00-9:00时间段：弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为160CU：弹性资源池的最大CU-两个队列的最小CU之和=256-32-64=160CU。剩余CU数根据优先级高低来分配，因为队列B的优先级高于队列A，则优先将64CU分配给队列B，剩余的96CU全部分配给队列A。弹性资源池当前最大CU为96CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下：队列A扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是32，最大CU是64 队列B扩缩容策略：优先级10，时间段：00:00-9:00，最小CU是64，最大CU是128 到了00:00-9:00时间段：弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为0CU：弹性资源池的最大CU-两个队列的最小CU之和=96-32-64=0CU。因为剩余的CU数已经没有，则停止分配。弹性资源池当前最大CU为128CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下：队列A扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是32，最大CU是64 队列B扩缩容策略：优先级10，时间段：00:00-9:00，最小CU是64，最大CU是128 到了00:00-9:00时间段：弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为32CU：弹性资源池的最大CU-两个队列的最小CU之和=128-32-64=32CU。按照优先级，则优先将剩余的32CU分配给B队列后停止分配。弹性资源池当前最大CU为128CU，添加了两个队列，分别为队列A和队列B。两个队列设置的扩缩容策略如下：队列A扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是32，最大CU是64 队列B扩缩容策略：优先级5，时间段：00:00-9:00，最小CU是64，最大CU是128 到了00:00-9:00时间段：弹性资源池优先满足两个队列的最小CU，队列A先分配32CU，队列B分配64CU，剩余CU数为32CU：弹性资源池的最大CU-两个队列的最小CU之和=128-32-64=32CU。因为两个队列的优先级相同，则剩余32CU随机分配给两个队列。

数据湖探索 DLI 创建弹性资源池和队列
数据湖探索 DLI-典型场景示例：配置弹性资源池队列扩缩容策略:场景介绍

场景介绍一个企业有多个部门，多个部门不同业务数据分析的时间段可能有所差异，具体场景如下： A部门：在00:00-09:00时间段内资源请求量大，其他时间段有短时间的资源请求量不大的任务运行。 B部门：在10:00-22:00时间段内资源请求量大，其他时间段内也有固定周期的作业请求也需要保障。针对上述场景，弹性资源池上可以添加两个队列，队列test_a用于运行A部门的作业任务，队列test_b运行B部门的作业任务。两个部门请求量大的任务时间段固定，则可以在test_a和test_b队列上分别添加两个时间段00:00-09:00和10:00-23:00的扩缩容策略，其他时间段的作业任务通过配置队列的默认扩缩容策略进行保障。表1 队列扩缩容策略队列名新增的扩缩容时间段新增的扩缩容时间段优先级新增的扩缩容时间段最小和最大CU 默认扩缩容时间段默认时间段优先级默认扩缩容时间段最小和最大CU 备注 test_a [00:00，09:00) 20 最小CU：64 最大CU：128 新增的扩缩容时间段[00:00，09:00)以外的时间段范围 5 最小CU：16 最大CU：32 运行A部门作业 test_b [10:00，23:00) 20 最小CU：64 最大CU：128 新增的扩缩容时间段[10:00，23:00)以外的时间段范围 5 最小CU：32 最大CU：64 运行B部门作业

数据湖探索 DLI 创建弹性资源池和队列
数据湖探索 DLI-创建非弹性资源池队列（废弃，不推荐使用）:约束限制

约束限制 DLI服务预置了名为“default”的队列供用户体验，资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。队列类型： SQL类型队列：SQL队列支持提交Spark SQL作业。通用队列：支持Spark程序、Flink SQL、Flink Jar作业。不支持队列类型切换，如需使用其他队列类型，请重新购买新的队列。不支持切换队列的计费模式。队列不支持切换区域。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。创建队列时，仅支持包年包月队列和按需专属队列选择跨AZ双活，且跨AZ的队列价格为单AZ模式下的2倍。新创建的队列需要运行作业后才可进行扩缩容。 DLI队列不支持访问公网。

数据湖探索 DLI 创建弹性资源池和队列