云服务器内容精选

华为云首页用户手册

管理Flink作业

数据湖探索 DLI-开启Flink作业动态扩缩容:操作场景

操作场景在实际作业运行中，由于作业的数据流量变化，导致所需计算资源不同，造成流量较小时计算资源浪费，流量较大时计算资源不足以满足计算所需。 DLI 提供的动态扩缩容功能可以根据当前作业的负载情况，例如：数据输入输出量、数据输入输出速率、反压等情况，动态的调整当前作业所用的计算资源，提升资源利用率。开启Flink作业动态扩缩容后，系统将根据Flink作业的实际资源需求动态调整资源分配。当弹性资源池中剩余的Pod资源足以支持作业的最小资源需求时，系统将自动减少作业所在节点的数量，确保作业高效运行，同时提高资源的利用效率。当前仅Flink 1.12版本的作业支持开启动态扩缩容。

数据湖探索 DLI 管理Flink作业
数据湖探索 DLI-开启Flink作业动态扩缩容:使用须知

使用须知在Flink作业进行动态扩缩容时如果队列资源被抢占，剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复，因此未恢复成功前，作业无法处理数据。因扩缩容过程中需要触发savepoint，因此必须配置obs桶，并保存日志，同时请注意开启checkpoint。扩缩容检测周期不要设置过小，避免频繁启停作业。扩缩容作业恢复过程中的时间长短受savepoint的大小影响，如果保存点较大，可能恢复时间较慢。如果需要调整动态扩缩容的配置项，则需要停止作业进行编辑，并提交运行才能生效。

数据湖探索 DLI 管理Flink作业