MAPREDUCE服务 MRS-Spark Streaming任务提交问题:原因分析

时间:2024-11-04 09:35:09

原因分析

  • 问题1:Spark提交任务默认不会加载kafka的相关包,所以需要在启动命令中增加--jars来指定对应kafka版本的jar包
  • 问题2:连接Kafka无法使用Spark的认证信息,需要将相关的认证使用JVM的参数设置进去。
  • 问题3:Spark默认使用当前客户端的认证信息提交任务,也可以使用代码login的方式。但是这两种认证方式都无法更新任务使用的Token,当提交的时候生成的Token信息过期以后就无法使用,因此报错。解决办法是使用--keytab和--principal将keytab文件和对应用户带入任务中。
support.huaweicloud.com/trouble-mrs/mrs_03_0288.html