数据湖探索 DLI-开启Flink作业动态扩缩容:使用须知

时间:2025-01-26 10:47:50

使用须知

  • 在Flink作业进行动态扩缩容时如果队列资源被抢占,剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。
  • 在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复,因此未恢复成功前,作业无法处理数据。
  • 因扩缩容过程中需要触发savepoint,因此必须配置obs桶,并保存日志,同时请注意开启checkpoint。
  • 扩缩容检测周期不要设置过小,避免频繁启停作业。
  • 扩缩容作业恢复过程中的时间长短受savepoint的大小影响,如果保存点较大,可能恢复时间较慢。
  • 如果需要调整动态扩缩容的配置项,则需要停止作业进行编辑,并提交运行才能生效。
support.huaweicloud.com/usermanual-dli/dli_01_0534.html