MapReduce服务 MRS-规则:应用程序结束之前必须调用SparkContext.stop

时间：2023-11-01 16:19:45

MapReduce服务 MRS

利用spark做二次开发时，当应用程序结束之前必须调用SparkContext.stop()。

利用Java语言开发时，应用程序结束之前必须调用JavaSparkContext.stop()。

利用Scala语言开发时，应用程序结束之前必须调用SparkContext.stop()。

以Scala语言开发应用程序为例，分别介绍下正确示例与错误示例。

正确示例：

//提交spark作业val sc = new SparkContext(conf)//具体的任务...//应用程序结束sc.stop()

错误示例：

//提交spark作业val sc = new SparkContext(conf)//具体的任务...

如果不添加SparkContext.stop，YARN界面会显示失败。如图1，同样的任务，前一个程序是没有添加SparkContext.stop，后一个程序添加了SparkContext.stop()。

图1 添加SparkContext.stop()和不添加的区别

MapReduce服务 MRS-规则:应用程序结束之前必须调用SparkContext.stop

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24