MAPREDUCE服务 MRS-操作Avro格式数据:提交命令
下载MAPREDUCE服务 MRS用户手册完整版
提交命令
假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar，并将jar包放在客户端“$SPARK_HOME”目录下，以下命令均在“$SPARK_HOME”目录执行。
- yarn-client模式：
java/scala版本（类名等请与实际代码保持一致，此处仅为示例）
bin/spark-submit --master yarn --deploy-mode client --jars /opt/female/protobuf-java-2.5.0.jar --conf spark.yarn.user.classpath.first=true --class com.huawei.bigdata.spark.examples.datasources.AvroSource SparkOnHbaseJavaExample.jar
python版本（文件名等请与实际保持一致，此处仅为示例），假设对应的Java代码打包后包名为SparkOnHbaseJavaExample.jar，且放在当前提交目录。
bin/spark-submit --master yarn --deploy-mode client --conf spark.yarn.user.classpath.first=true --jars SparkOnHbaseJavaExample.jar,/opt/female/protobuf-java-2.5.0.jar AvroSource.py
- yarn-cluster模式：
java/scala版本（类名等请与实际代码保持一致，此处仅为示例）
bin/spark-submit --master yarn --deploy-mode cluster --jars /opt/female/protobuf-java-2.5.0.jar --conf spark.yarn.user.classpath.first=true --class com.huawei.bigdata.spark.examples.datasources.AvroSource --files /opt/user.keytab,/opt/krb5.conf SparkOnHbaseJavaExample.jar
python版本（文件名等请与实际保持一致，此处仅为示例），假设对应的Java代码打包后包名为SparkOnHbaseJavaExample.jar，且放在当前提交目录。
bin/spark-submit --master yarn --deploy-mode cluster --files /opt/user.keytab,/opt/krb5.conf --conf spark.yarn.user.classpath.first=true --jars SparkOnHbaseJavaExample.jar,/opt/female/protobuf-java-2.5.0.jar AvroSource.py
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Flume_如何使用Flume
- GaussDB命令_GaussDB数据库命令_高斯数据库命令-华为云
- 大数据分析是什么_使用MapReduce_创建MRS服务
- GaussDB查版本命令_GaussDB命令参考_高斯数据库查版本命令-华为云
- MySQL创建数据库命令_MySQL查看数据库命令_如何安装MySQL数据库
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是Kafka_如何使用Kafka
