MAPREDUCE服务 MRS-查看Flink应用运行结果:操作步骤

时间:2024-06-19 14:14:15

操作步骤

  • 查看Flink应用运行结果数据。

    当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。

    当执行结果输出到文件或者其他由Flink应用程序指定途径,您可以通过指定文件或其他途径获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例:

  • 查看Checkpoint结果和文件
    • 结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task manager”标签下的out按钮查看。
    • 有两种方式查看Checkpoint文件。
      • 若将checkpoint的快照信息保存到HDFS,则通过执行hdfs dfs -ls hdfs://hacluster/flink-checkpoint/命令查看。
      • 若将checkpoint的快照信息保存到本地文件,则可直接登录到各个节点查看。
  • 查看Stream SQL Join结果

    结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task manager”标签下的out按钮查看。

  • 使用Flink Web页面查看Flink应用程序运行情况

    Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。

    在YARN的Web UI界面,查找到对应的Flink应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入Flink Web页面。

    查看程序执行的打印结果:找到对应的Task Manager,查看对应的Stdout标签日志信息。

  • 查看Flink日志获取应用运行情况

    有两种方式获取Flink日志,分别为通过Flink Web页面或者Yarn的日志

    • Flink Web页面可以查看Task Managers、Job Manager部分的日志。
    • Yarn页面主要包括了Job Manager日志以及GC日志等。

      页面入口:在YARN的Web UI界面,查找到对应的Flink应用程序。单击应用信息的第一列ID,然后选择Logs列单击进去即可打开。

support.huaweicloud.com/devg-mrs/mrs_06_0412.html