MAPREDUCE服务 MRS-执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出:回答

时间：2024-06-13 09:39:19

MAPREDUCE服务 MRS

用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。

解决措施：

如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容：

-XX:OnOutOfMemoryError='kill -9 %p'

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出:回答

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24