MAPREDUCE服务 MRS-为什么Driver进程不能退出:回答

时间:2024-11-28 01:44:29

回答

使用yarn application -kill applicationID命令后Spark只会停掉任务对应的SparkContext,而不是退出当前进程。如果当前进程中存在其他常驻的线程(类似spark-shell需要不断检测命令输入,Spark Streaming不断在从数据源读取数据),SparkContext被停止并不会终止整个进程。

如果需要退出Driver进程,建议使用kill -9 pid命令手动退出当前Driver。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2006.html