华为云首页用户手册

MAPREDUCE服务 MRS-在Linux环境中查看Spark程序调测结果:操作步骤

MAPREDUCE服务 MRS-在Linux环境中查看Spark程序调测结果:操作步骤

时间：2024-06-29 14:11:28

MAPREDUCE服务 MRS 在Linux环境中调测Spark应用

操作步骤

查看Spark应用运行结果数据。
结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。
查看Spark应用程序运行情况。
Spark主要有两个Web页面。
- Spark UI页面，用于展示正在执行的应用的运行情况。
  页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。
  
  页面入口：在YARN的Web UI界面，查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入SparkUI页面。
- History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。
  页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID，页面将跳转到该应用的SparkUI页面。
查看Spark日志获取应用运行情况。
您可以查看Spark日志了解应用运行情况，并根据日志信息调整应用程序。相关日志信息可参考Spark2x日志介绍。

上一篇：MAPREDUCE服务 MRS-基于Python的Hive样例程序:样例代码

下一篇：MAPREDUCE服务 MRS-如何处理无法直接通过URL访问Flink Web:回答

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-在Linux环境中查看Spark程序调测结果:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题