华为云首页用户手册

MapReduce服务 MRS-在本地Windows环境中调测Spark应用:编包并运行程序

MapReduce服务 MRS-在本地Windows环境中调测Spark应用:编包并运行程序

时间：2025-02-12 15:00:30

MapReduce服务 MRS

编包并运行程序

获取样例代码。

下载样例工程的Maven工程源码和配置文件，请参见获取 MRS 应用开发样例工程。

将样例代码导入IDEA中。

获取配置文件。

从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults.conf文件到本地。
在HDFS中上传数据。
1. 在Liunx中新建文本文件data，将如下数据内容保存到data文件中。
```
Miranda,32 Karlie,23 Candice,27
```
2. 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data（hdfs dfs命令有同样的作用），创建对应目录。
3. 在Linux系统HDFS客户端使用命令hadoop fs -put data /data，上传数据文件。
在样例代码中配置相关参数。

将加载数据的sql语句改为“LOAD DATA INPATH 'hdfs:/data/data' INTO TABLE CHILD”。
在程序运行时添加运行参数，分别为hive-site.xml与spark-defaults.conf文件的路径。
运行程序。

上一篇：MapReduce服务 MRS-从checkpoint恢复spark应用的限制:回答

下一篇：MapReduce服务 MRS-从checkpoint恢复spark应用的限制:回答

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MapReduce服务 MRS-在本地Windows环境中调测Spark应用:编包并运行程序

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题