MAPREDUCE服务 MRS-小文件优化:操作步骤

时间:2024-06-29 16:25:20

操作步骤

要启动小文件优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。

表1 参数介绍

参数

描述

默认值

spark.sql.files.maxPartitionBytes

在读取文件时,将单个分区打包的最大字节数。

单位:byte。

134217728(即128M)

spark.files.openCostInBytes

打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。

4M

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1995.html