MAPREDUCE服务 MRS-提交Spark任务到新增Task节点:使用spark-submit提交任务

时间:2024-08-07 19:26:07

使用spark-submit提交任务

  1. 使用root用户登录客户端节点,执行如下命令:

    cd 客户端安装目录

    source bigdata_env

    source Spark2x/component_env

    安全集群(开启kerberos认证)执行命令kinit spark_test,普通模式(关闭kerberos认证)无需执行。

    输入密码,完成认证(第一次登录需要修改密码)。

    cd Spark2x/spark/bin

    sh spark-submit --queue tenant_spark --class org.apache.spark.examples.SparkPi --master yarn-client ../examples/jars/spark-examples_*.jar

support.huaweicloud.com/bestpractice-mrs/mrs_05_0131.html