数据湖探索 DLI-开启Flink作业动态扩缩容:操作场景

时间:2025-01-26 10:47:50

操作场景

在实际作业运行中,由于作业的数据流量变化,导致所需计算资源不同,造成流量较小时计算资源浪费,流量较大时计算资源不足以满足计算所需。

DLI 提供的动态扩缩容功能可以根据当前作业的负载情况,例如:数据输入输出量、数据输入输出速率、反压等情况,动态的调整当前作业所用的计算资源,提升资源利用率。

开启Flink作业动态扩缩容后,系统将根据Flink作业的实际资源需求动态调整资源分配。当弹性资源池中剩余的Pod资源足以支持作业的最小资源需求时,系统将自动减少作业所在节点的数量,确保作业高效运行,同时提高资源的利用效率。

当前仅Flink 1.12版本的作业支持开启动态扩缩容。

support.huaweicloud.com/usermanual-dli/dli_01_0534.html