MAPREDUCE服务 MRS-Spark Streaming任务提交问题:处理步骤

时间:2024-11-04 09:35:09

处理步骤

  • 问题1:启动命令中增加--jars来指定对应kafka版本的jar包,一般是在Spark客户端目录/jars/streamingClient(0.8版本Kafka)和Spark客户端目录/jars/streamingClient010(0.10版本Kafka)。
  • 问题2:参考指导文档编辑并运行程序
  • 问题3:使用--keytab和--principal将keytab文件和对应用户带入任务中。如果此处的keytab文件和之前Kafka的jaas.conf中配置的是同一个,则Spark会报一个文件多次上传的问题。解决办法是复制一份keytab文件,使得--files和--keytab上传不同的文件。
support.huaweicloud.com/trouble-mrs/mrs_03_0288.html