数据湖探索 DLI-DLI弹性资源池与队列简介:DLI队列类型

时间:2025-01-06 14:23:41

DLI 队列类型

DLI分为三种队列类型: default队列、SQL队列、通用队列,您可以根据业务场景和作业特性选择最合适的队列类型。

  • default队列:

    DLI服务预置的队列,所有用户共享。

    不支持指定default队列资源大小,资源在执行作业时按需分配,并按实际扫描的数据量计费。

    由于default队列是共享资源,在使用时可能会出现资源抢占的情况,不能保证每次都能获得资源来执行作业。

    default队列适用小规模或临时的数据处理需求。对于重要的或需要保证资源的作业,建议购买弹性资源池并在弹性资源池中创建队列来执行作业。

  • SQL队列:

    SQL队列是用于执行SQL作业的队列,支持指定引擎类型包括Spark和HetuEngine。

    SQL队列适用于需要快速数据查询和分析,以及需要定期清理缓存或重置环境的业务。

  • 通用队列:

    通用队列用于执行Spark作业、Flink OpenSource SQL作业和Flink Jar作业的队列。

    适合适用于复杂数据处理、实时数据流处理或批量数据处理的场景。

support.huaweicloud.com/usermanual-dli/dli_01_0504.html