MAPREDUCE服务 MRS-优化小文件场景下的Spark SQL性能:配置描述

时间:2024-06-29 16:25:02

配置描述

要启动小文件优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。

表1 参数说明

参数

描述

默认值

spark.sql.files.maxPartitionBytes

在读取文件时,将单个分区打包的最大字节数。

单位:byte。

134217728(即128M)

spark.files.openCostInBytes

打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。

4M

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1988.html