MAPREDUCE服务 MRS-Spark常用命令介绍:常用命令

时间:2024-06-19 16:04:41

常用命令

Shell命令执行方法:

  1. 进入Spark客户端目录。
  2. 初始化环境变量。

    source /opt/client/bigdata_env

  3. 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备Spark应用开发用户时增加的开发用户。

    kinit MRS 集群用户

    例如:

    • 开发用户为“机机”用户时请执行:kinit -kt user.keytab sparkuser
    • 开发用户为“人机”用户时请执行:kinit sparkuser

  4. 执行Spark shell命令。

Spark常用的命令如下所示:

support.huaweicloud.com/devg-mrs/mrs_06_0244.html