数据湖探索 DLI-Flink作业运行异常,如何定位

时间:2024-11-06 21:53:30

Flink作业运行异常,如何定位

  1. 在“Flink作业”管理页面,对应作业“操作”列单击“编辑”按钮,在作业运行界面确认作业是否勾选“保存作业日志”参数。
    图1 保存作业日志
    • 是,则执行3
    • 否,则运行日志不会转储OBS桶,需要先执行2保存作业运行日志。
  2. 在作业运行界面勾选“保存作业日志”,在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。
  3. 在Flink作业列表单击对应作业名称,进入作业详情页面,选择“运行日志”页签。
  4. 单击OBS桶,获取对应作业的完整运行日志。
    图2 查看运行日志
  5. 下载最新“jobmanager.log”文件,搜索“RUNNING to FAILED”关键字,通过上下文的错误栈,确认失败原因。
  6. 如果“jobmanager.log”文件中的信息不足以定位,可以在运行日志中找到对应的“taskmanager.log”日志,搜索“RUNNING to FAILED”关键字,确认失败原因。
support.huaweicloud.com/dli_faq/dli_03_0105.html