MapReduce服务 MRS-为什么Spark Streaming应用创建输入流,但该输入流无输出逻辑时,应用从checkpoint恢复启动失败:回答
回答
Streaming Context启动时,如果应用设置了checkpoint,则需要对应用中的DStream checkpoint对象进行序列化,序列化时会用到dstream.context。
dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。如果Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设置context。所以在序列化时报“NullPointerException”。
解决办法:应用中如果有无输出逻辑的输入流,则在代码中删除该输入流,或添加该输入流的相关输出逻辑。
- MapReduce服务_什么是Flink_如何使用Flink
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 函数流管理_编排无服务器_函数工作流 FunctionGraph-华为云
- MapReduce服务_什么是Yarn_如何使用Yarn
- OBS流量费用_OBS收费_什么是流量费用
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- GaussDB索引_GaussDB数据库索引_高斯数据库索引_华为云
- GaussDB索引_华为数据库GaussDB_高斯数据库索引_华为云
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 域名转入-域名如何转入-域名转入需要多长时间-域名转入价格-域名转入流程