云服务器内容精选

华为云首页用户手册

在Linux环境中调测Spark应用

MAPREDUCE服务 MRS-在Linux环境中编包并运行Spark程序:操作场景

操作场景在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different version %s than that in driver %s."。用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓

MAPREDUCE服务 MRS 在Linux环境中调测Spark应用
MAPREDUCE服务 MRS-在Linux环境中查看Spark程序调测结果:操作步骤

操作步骤查看Spark应用运行结果数据。结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。查看Spark应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面，用于展示正在执行的应用的运行情况。页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。页面入口：在YARN的Web UI界面，查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入SparkUI页面。 History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID，页面将跳转到该应用的SparkUI页面。查看Spark日志获取应用运行情况。您可以查看Spark日志了解应用运行情况，并根据日志信息调整应用程序。相关日志信息可参考Spark2x日志介绍。

MAPREDUCE服务 MRS 在Linux环境中调测Spark应用
MAPREDUCE服务 MRS-在Linux环境中编包并运行Spark程序:操作场景

操作场景在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different version %s than that in driver %s."。用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓

MAPREDUCE服务 MRS 在Linux环境中调测Spark应用