华为云首页用户手册

MAPREDUCE服务 MRS-设置Spark Core并行度:操作步骤

MAPREDUCE服务 MRS-设置Spark Core并行度:操作步骤

时间：2024-07-02 16:39:31

MAPREDUCE服务 MRS Spark Core性能调优

操作步骤

并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。

在会产生shuffle的操作函数内设置并行度参数，优先级最高。
```
testRDD.groupByKey(24)
```
在代码中配置“spark.default.parallelism”设置并行度，优先级次之。
```
val conf = new SparkConf()
conf.set("spark.default.parallelism", 24)
```
在“$SPARK_HOME/conf/spark-defaults.conf”文件中配置“spark.default.parallelism”的值，优先级最低。
```
spark.default.parallelism    24
```

上一篇：MAPREDUCE服务 MRS-通过Hue管理Oozie作业:编辑器使用介绍

下一篇：MAPREDUCE服务 MRS-配置自定义调度器的WebUI:配置描述

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-设置Spark Core并行度:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题