华为云首页用户手册

MAPREDUCE服务 MRS-在Linux环境中调测Spark应用:查看调测结果

MAPREDUCE服务 MRS-在Linux环境中调测Spark应用:查看调测结果

时间：2024-06-13 09:38:46

MAPREDUCE服务 MRS 调测Spark应用

查看调测结果

Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。

通过运行结果数据查看应用程序运行情况。
结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。
登录Spark WebUI查看应用程序运行情况。
Spark主要有两个Web页面。
- Spark UI页面，用于展示正在执行的应用的运行情况。
  页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。
  
  页面入口：在YARN的Web UI界面，查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入SparkUI页面。
- History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。
  页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID，页面将跳转到该应用的SparkUI页面。
通过Spark日志获取应用程序运行情况。
您可以查看Spark日志了解应用运行情况，并根据日志信息调整应用程序。相关日志信息可参考Spark2x日志介绍。

上一篇：MAPREDUCE服务 MRS-job.properties:参数解释

下一篇：MAPREDUCE服务 MRS-在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录:回答

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-在Linux环境中调测Spark应用:查看调测结果

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题