MAPREDUCE服务 MRS-从checkpoint恢复spark应用的限制:回答

时间：2024-06-29 14:10:57

MAPREDUCE服务 MRS

回答

由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等，因此，当存在以下问题时，从checkpoint恢复spark应用将会失败。

业务代码变更且变更类未明确指定SerialVersionUID。
spark内部类变更，且变更类未明确指定SerialVersionUID。

另外，由于checkpoint保存了部分配置项，因此可能导致业务修改了部分配置项后，从checkpoint恢复时，配置项依然保持为旧值的情况。当前只有以下部分配置会在从checkpoint恢复时重新加载。

"spark.yarn.app.id",
 "spark.yarn.app.attemptId",
 "spark.driver.host",
 "spark.driver.bindAddress",
 "spark.driver.port",
 "spark.master",
 "spark.yarn.jars",
 "spark.yarn.keytab",
 "spark.yarn.principal",
 "spark.yarn.credentials.file",
 "spark.yarn.credentials.renewalTime",
 "spark.yarn.credentials.updateTime",
 "spark.ui.filters",
 "spark.mesos.driver.frameworkId",
 "spark.yarn.jars"

上一篇：MAPREDUCE服务 MRS-读取Phoenix表数据:代码样例

下一篇：MAPREDUCE服务 MRS-Impala开发建议:Impala SQL编写之不支持隐式类型转换