MAPREDUCE服务 MRS-配置HDFS单目录文件数量:操作场景

时间:2024-08-01 19:24:15

操作场景

通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的,因此用户需要提前做好规划,防止单个目录下的文件数目超过阈值,导致任务出错。

HDFS提供了“dfs.namenode.fs-limits.max-directory-items”参数设置单个目录下可以存储的文件数目。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0805.html