MAPREDUCE服务 MRS-在Linux环境中编包并运行Spark程序:操作场景

时间:2024-06-29 14:11:32

操作场景

在程序代码完成开发后,您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。

  • 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。
  • 用户需保证worker和driver的Python版本一致,否则将报错:"Python in worker has different version %s than that in driver %s."。
  • 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库,具体可参考配置华为开源镜像仓
support.huaweicloud.com/devg3-mrs/mrs_07_410123.html