MAPREDUCE服务 MRS-提交Spark任务到新增Task节点:使用spark-submit提交任务
使用spark-submit提交任务
- 使用root用户登录客户端节点,执行如下命令:
source bigdata_env
source Spark2x/component_env
安全集群(开启kerberos认证)执行命令kinit spark_test,普通模式(关闭kerberos认证)无需执行。
输入密码,完成认证(第一次登录需要修改密码)。
cd Spark2x/spark/bin
sh spark-submit --queue tenant_spark --class org.apache.spark.examples.SparkPi --master yarn-client ../examples/jars/spark-examples_*.jar
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是Flink_如何使用Flink
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是Hive_如何使用Hive
- 华为云CCE_华为云容器引擎CCE_容器高性能调度
- MapReduce服务_什么是Kafka_如何使用Kafka