MAPREDUCE服务 MRS-向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常:回答
回答
动态分区表插入数据的最后一步是读取shuffle文件的数据,再写入到表对应的分区文件中。
当大面积shuffle文件损坏后,会引起大批量task失败,然后进行job重试。重试前Spark会将写表分区文件的句柄关闭,大批量task关闭句柄时HDFS无法及时处理。在task进行下一次重试时,句柄在NameNode端未被及时释放,即会发生"Failed to CREATE_FILE"异常。
这种现象仅会在大面积shuffle文件损坏时发生,出现异常后task会重试,重试耗时在毫秒级,影响较小,可以忽略不计。
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Flink_如何使用Flink
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 编译构建服务是什么_如何使用鲲鹏环境构建
- BI产品_BI网站_数据中台 BI
- CSE微服务治理_服务治理_治理策略_使用服务治理功能