华为云首页用户手册

MAPREDUCE服务 MRS-编包并运行Spark应用:运行“通过JDBC访问Spark SQL”样例程序

时间：2024-06-19 14:14:15

MAPREDUCE服务 MRS 调测Spark应用

运行“通过JDBC访问Spark SQL”样例程序

在工程目录下执行mvn package命令生成jar包，在工程目录target目录下获取，比如:FemaleInfoCollection.jar
将生成的Jar包（如CollectFemaleInfo.jar）拷贝到Spark运行环境下（即Spark客户端），如“/opt/female”。开启Kerberos认证的安全集群下把从准备Spark应用开发用户中获取的user.keytab和krb5.conf文件拷贝到Spark客户端conf目录下，如：/opt/client/Spark/spark/conf；未开启Kerberos认证集群可不必拷贝user.keytab和krb5.conf文件。
运行“通过JDBC访问Spark SQL”样例程序（Scala和Java语言）。
- 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。
- 运行程序时可根据需要选择运行模式：
  - --deploy-mode client：driver进程在客户端运行，运行结果在程序运行后直接输出。
  - --deploy-mode cluster：driver进程在Yarn的ApplicationMaster（AM）中运行，运行结果和日志在Yarn的WebUI界面输出。
进入Spark客户端目录，使用java -cp命令运行代码。

java -cp ${SPARK_HOME}/jars/*:${SPARK_HOME}/conf:/opt/female/SparkThriftServerJavaExample-*.jar com.huawei.bigdata.spark.examples.ThriftServerQueriesTest ${SPARK_HOME}/conf/hive-site.xml ${SPARK_HOME}/conf/spark-defaults.conf

普通集群需要注释掉安全配置部分代码，详情请参见2和2。

上面的命令行中，您可以根据不同样例工程，最小化选择其对应的运行依赖包。样例工程对应的运行依赖包详情，请参见1。

上一篇：MAPREDUCE服务 MRS-编包并运行Spark应用:提交SparkLauncher应用程序

下一篇：MAPREDUCE服务 MRS-编包并运行Spark应用:提交SparkLauncher应用程序

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-编包并运行Spark应用:运行“通过JDBC访问Spark SQL”样例程序

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

MAPREDUCE服务 MRS-编包并运行Spark应用:运行“通过JDBC访问Spark SQL”样例程序

MAPREDUCE服务 MRS-编包并运行Spark应用:运行“通过JDBC访问Spark SQL”样例程序

运行“通过JDBC访问Spark SQL”样例程序

7*24

备案

专业服务

退订

建议反馈

售前咨询热线