MAPREDUCE服务 MRS-Spark应用开发简介:Spark开发接口简介

时间：2024-10-22 10:49:51

Spark开发接口简介

Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。

按不同的语言分类，Spark的API接口如表1所示。

表1 Spark API接口
接口类型	说明
Scala API	提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark scala API接口介绍。
Java API	提供Java语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Java API接口介绍。
Python API	提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。

按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD BCS erver两种方式访问。其中JDB CS erver的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。