华为云首页用户手册

MAPREDUCE服务 MRS-Spark应用开发流程介绍

MAPREDUCE服务 MRS-Spark应用开发流程介绍

时间：2024-06-29 14:11:45

MAPREDUCE服务 MRS Spark2x开发指南（普通模式）

Spark应用开发流程介绍

Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。

开发流程中各阶段的说明如图1和表1所示。

图1 Spark应用程序开发流程

表1 Spark应用开发的流程说明
阶段	说明	参考文档
了解基本概念	在开始开发应用前，需要了解Spark的基本概念，根据实际场景选择需要了解的概念，分为Spark Core基本概念、Spark SQL基本概念和Spark Streaming基本概念。	基本概念
准备开发和运行环境	Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。	准备本地应用开发环境
准备工程	Spark提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Spark工程。	导入并配置Spark样例工程新建Spark样例工程（可选）
根据场景开发工程	提供了Scala、Java、Python三种不同语言的样例工程，还提供了Streaming、SQL、JDBC客户端程序以及Spark on HBase四种不同场景的样例工程。帮助用户快速了解Spark各部件的编程接口。	开发Spark应用
编译并运行程序	指导用户将开发好的程序编译并提交运行。	调测Spark应用
查看程序运行结果	程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。	调测Spark应用
调优程序	您可以根据程序运行情况，对程序进行调优，使其性能满足业务场景诉求。调优完成后，请重新进行编译和运行。	Spark2x性能调优

父主题： Spark2x开发指南（普通模式）

上一篇：MAPREDUCE服务 MRS-常见概念:Hadoop

下一篇：MAPREDUCE服务 MRS-Flink Scala API接口介绍:提供Join能力

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-Spark应用开发流程介绍

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题