MAPREDUCE服务 MRS-执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出:回答

时间:2024-06-13 09:38:24

回答

用户尝试收集大量数据到Driver端,如果Driver端的内存不足以存放这些数据,那么就会抛出OOM(OutOfMemory)的异常,然后Driver端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。

解决措施:

如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容:
-XX:OnOutOfMemoryError='kill -9 %p'
support.huaweicloud.com/devg-lts-mrs/mrs_07_200151.html