数据湖探索 DLI-使用Spark Jar作业读取和查询OBS数据:步骤8:查看作业运行结果

时间:2024-11-16 13:16:39

步骤8:查看作业运行结果

  1. 在Spark作业管理界面显示已提交的作业运行状态。初始状态显示为“启动中”。
  2. 如果作业运行成功则作业状态显示为“已成功”,单击“操作”列“更多”下的“Driver日志”,显示当前作业运行的日志。
    图14 diver日志
    图15 “Driver日志”中的作业执行日志
  3. 如果作业运行成功,本示例进入OBS桶下的“result/parquet”目录,查看已生成预期的parquet文件。
    图16 obs桶文件
  4. 如果作业运行失败,单击“操作”列“更多”下的“Driver日志”,显示具体的报错日志信息,根据报错信息定位问题原因。
    例如,如下截图信息因为创建Spark Jar作业时主类名没有包含包路径,报找不到类名“SparkDemoObs”。
    图17 报错信息

    可以在“操作”列,单击“编辑”,修改“主类”参数为正确的:com.huawei.dli.demo.SparkDemoObs,单击“执行”重新运行该作业即可。

support.huaweicloud.com/devg-dli/dli_09_0205.html