数据湖探索 DLI-DLI弹性资源池与队列简介:DLI队列类型
DLI 队列类型
DLI分为三种队列类型: default队列、SQL队列、通用队列,您可以根据业务场景和作业特性选择最合适的队列类型。
- default队列:
DLI服务预置的队列,所有用户共享。
不支持指定default队列资源大小,资源在执行作业时按需分配,并按实际扫描的数据量计费。
由于default队列是共享资源,在使用时可能会出现资源抢占的情况,不能保证每次都能获得资源来执行作业。
default队列适用小规模或临时的数据处理需求。对于重要的或需要保证资源的作业,建议购买弹性资源池并在弹性资源池中创建队列来执行作业。
- SQL队列:
SQL队列是用于执行SQL作业的队列,支持指定引擎类型包括Spark和HetuEngine。
SQL队列适用于需要快速数据查询和分析,以及需要定期清理缓存或重置环境的业务。
- 通用队列:
通用队列用于执行Spark作业、Flink OpenSource SQL作业和Flink Jar作业的队列。
适合适用于复杂数据处理、实时数据流处理或批量数据处理的场景。
- 什么是弹性资源池_数据湖探索DLI弹性资源池
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 什么是跨源连接-数据湖探索DLI跨源连接
- 分布式消息队列是什么_分布式消息队列好处_消息队列-华为云
- GaussDB队列机制_GaussDB数据库基本命令_高斯数据库队列机制_华为云
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势
- 消息队列_数据交换问题_处理异步任务-华为云
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 分布式消息基本概念_消息队列_分布式系统-华为云