MAPREDUCE服务 MRS-配置HDFS单目录文件数量:操作场景
操作场景
通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的,因此用户需要提前做好规划,防止单个目录下的文件数目超过阈值,导致任务出错。
HDFS提供了“dfs.namenode.fs-limits.max-directory-items”参数设置单个目录下可以存储的文件数目。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是Loader_如何使用Loader
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Manager_Manager的功能_MRS运维管理
- MapReduce服务_什么是Flume_如何使用Flume