MAPREDUCE服务 MRS-向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常:回答

时间:2024-11-06 14:23:21

回答

动态分区表插入数据的最后一步是读取shuffle文件的数据,再写入到表对应的分区文件中。

当大面积shuffle文件损坏后,会引起大批量task失败,然后进行job重试。重试前Spark会将写表分区文件的句柄关闭,大批量task关闭句柄时HDFS无法及时处理。在task进行下一次重试时,句柄在NameNode端未被及时释放,即会发生"Failed to CREATE_FILE"异常。

这种现象仅会在大面积shuffle文件损坏时发生,出现异常后task会重试,重试耗时在毫秒级,影响较小,可以忽略不计。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2013.html