MAPREDUCE服务 MRS-Spark SQL join优化:参考信息

时间:2024-11-06 14:23:21

参考信息

被广播的表执行超时,导致任务结束。

默认情况下,BroadCastJoin只允许被广播的表计算5分钟,超过5分钟该任务会出现超时异常,而这个时候被广播的表的broadcast任务依然在执行,造成资源浪费。

这种情况下,有两种方式处理:

  • 调整“spark.sql.broadcastTimeout”的数值,加大超时的时间限制。
  • 降低“spark.sql.autoBroadcastJoinThreshold”的数值,不使用BroadCastJoin的优化。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1986.html