MAPREDUCE服务 MRS-Spark常用配置参数:配置Stage失败重试次数

时间:2024-11-06 14:23:19

配置Stage失败重试次数

Spark任务在遇到FetchFailedException时会触发Stage重试。为了防止Stage无限重试,对Stage重试次数进行限制。重试次数可以根据实际需要进行调整。

在Spark客户端的“spark-defaults.conf”文件中配置如下参数。

表1 参数说明

参数

说明

默认值

spark.stage.maxConsecutiveAttempts

Stage失败重试最大次数。

4

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1931.html