MAPREDUCE服务 MRS-设置Spark Core并行度:操作步骤

时间:2024-07-02 16:39:31

操作步骤

并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。

  • 在会产生shuffle的操作函数内设置并行度参数,优先级最高。
    testRDD.groupByKey(24)
  • 在代码中配置“spark.default.parallelism”设置并行度,优先级次之。
    val conf = new SparkConf()
    conf.set("spark.default.parallelism", 24)
  • “$SPARK_HOME/conf/spark-defaults.conf”文件中配置“spark.default.parallelism”的值,优先级最低。
    spark.default.parallelism    24
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1978.html