数据湖探索 DLI-开启Flink作业动态扩缩容:操作场景
操作场景
在实际作业运行中,由于作业的数据流量变化,导致所需计算资源不同,造成流量较小时计算资源浪费,流量较大时计算资源不足以满足计算所需。
DLI 提供的动态扩缩容功能可以根据当前作业的负载情况,例如:数据输入输出量、数据输入输出速率、反压等情况,动态的调整当前作业所用的计算资源,提升资源利用率。
开启Flink作业动态扩缩容后,系统将根据Flink作业的实际资源需求动态调整资源分配。当弹性资源池中剩余的Pod资源足以支持作业的最小资源需求时,系统将自动减少作业所在节点的数量,确保作业高效运行,同时提高资源的利用效率。
![](https://support.huaweicloud.com/usermanual-dli/public_sys-resources/note_3.0-zh-cn.png)
当前仅Flink 1.12版本的作业支持开启动态扩缩容。
- 什么是弹性资源池_数据湖探索DLI弹性资源池
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 什么是跨源连接-数据湖探索DLI跨源连接
- MRS优势_什么是MRS_MRS功能
- 数据治理中心_数据开发_数据开发示例_使用教程-华为云
- 华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云