MAPREDUCE服务 MRS-Password cannot be null if SASL is enabled异常:回答

时间:2024-11-28 01:44:29

回答

造成该现象的原因是NodeManager重启。使用ExternalShuffle的时候,Spark将借用NodeManager传输Shuffle数据,因此NodeManager的内存将成为瓶颈。

在当前版本的 FusionInsight 中,NodeManager的默认内存只有1G,在数据量比较大(1T以上)的Spark任务下,内存严重不足,消息响应缓慢,导致FusionInsight健康检查认为NodeManager进程退出,强制重启NodeManager,导致上述问题产生。

解决方法:

调整NodeManager的内存,数据量比较大(1T以上)的情况下,NodeManager的内存至少在4G以上。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2012.html