MAPREDUCE服务 MRS-Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败:回答
回答
原因分析:显示该异常是因为“recoverFromCheckpointLocation”的值判定为false,但却配置了checkpoint目录。
参数“recoverFromCheckpointLocation”的值为代码中“outputMode == OutputMode.Complete()”语句的判断结果(outputMode的默认输出方式为“append”)。
处理方法:编写应用时,用户可以根据具体情况修改数据的输出方式。
将输出方式修改为“complete”,“recoverFromCheckpointLocation”的值会判定为true。此时配置了checkpoint目录时就不会显示异常。
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是Flink_如何使用Flink
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是HDFS_HDFS特性
- RPA_RPA在银行的应用_RPA的全称是什么
- MRS优势_什么是MRS_MRS功能
- 函数流管理_编排无服务器_函数工作流 FunctionGraph-华为云
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse