华为云首页用户手册

MAPREDUCE服务 MRS-Spark应用开发流程介绍:Spark应用程序开发流程

MAPREDUCE服务 MRS-Spark应用开发流程介绍:Spark应用程序开发流程

时间：2024-06-29 14:10:54

MAPREDUCE服务 MRS Spark2x开发指南（安全模式）

Spark应用程序开发流程

Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。

开发流程中各阶段的说明如图1和表1所示。

图1 Spark应用程序开发流程

表1 Spark应用开发的流程说明
阶段	说明	参考文档
准备开发环境	Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。	准备Spark本地应用开发环境
准备连接集群配置文件	应用程序开发或运行过程中，需通过集群相关配置文件信息连接 MRS 集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。	准备Spark连接集群配置文件
配置并导入样例工程	Spark提供了不同场景下的多种样例程序，用户可以可获取样例工程并导入本地开发环境中进行程序学习，或者可以根据指导，新建一个Spark工程。	导入并配置Spark样例工程新建Spark样例工程（可选）
配置安全认证	如果您使用的是开启了kerberos认证的MRS集群，需要进行安全认证。	配置Spark应用安全认证
根据场景开发工程	提供了Scala、Java、Python三种不同语言的样例工程，还提供了Streaming、SQL、JDBC客户端程序以及Spark on HBase四种不同场景的样例工程。帮助用户快速了解Spark各部件的编程接口。	开发Spark应用
编译并运行程序	将开发好的程序编译并运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。说明：用户还可以根据程序运行情况，对程序进行调优，使其性能满足业务场景诉求。调优完成后，请重新进行编译和运行。具体请参考中Spark2x性能调优。	在Linux环境中编包并运行Spark程序

上一篇：MAPREDUCE服务 MRS-MapReduce访问多组件样例程序开发思路:场景说明

下一篇：MAPREDUCE服务 MRS-HBase访问多个ZooKeeper样例程序:代码样例

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-Spark应用开发流程介绍:Spark应用程序开发流程

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题