MAPREDUCE服务 MRS-Spark应用开发简介:Spark开发接口简介

时间：2024-06-19 14:14:14

MAPREDUCE服务 MRS Spark应用开发概述

Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。

按不同的语言分，Spark的API接口如表1所示。

表1 Spark API接口
接口	说明
Scala API	提供Scala语言的API。由于Scala语言的简洁易懂，推荐用户使用Scala接口进行程序开发。
Java API	提供Java语言的API。
Python API	提供Python语言的API。

按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者ThriftServer两种方式访问。其中ThriftServer的连接方式也有Beeline和JDBC客户端代码两种。

spark-sql脚本、spark-shell脚本和spark-submit脚本（运行的应用中带SQL操作），不支持使用proxy user参数去提交任务。

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-Spark应用开发简介:Spark开发接口简介

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24