MAPREDUCE服务 MRS-小文件优化:操作步骤
操作步骤
要启动小文件优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。
参数 |
描述 |
默认值 |
---|---|---|
spark.sql.files.maxPartitionBytes |
在读取文件时,将单个分区打包的最大字节数。 单位:byte。 |
134217728(即128M) |
spark.files.openCostInBytes |
打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 |
4M |
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 域名转出-域名如何转出-域名转出流程-域名转出操作步骤
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_什么是HDFS_HDFS特性
- 免费建站系统哪个好_免费建站优化的方法是什么
- 性能测试使用教程_性能测试操作步骤_性能测试快速入门-华为云