MAPREDUCE服务 MRS-TimelineServer目录文件数量到达上限:原因分析
原因分析
TimelineServer在 MRS 3.x版本会使用一个HDFS的目录(例如以上报错中的“/tmp/hadoop-omm/yarn/timeline/generic-history/ApplicationHistoryDataRoot”路径)来存放历史任务信息,导致该目录下的文件不断累积,直到到达HDFS配置的目录数量上限(“dfs.namenode.fs-limits.max-directory-items”默认为“1048576”)。
此时请将“yarn.timeline-service.generic-application-history.enabled”(客户端查询app任务数据时是否从TimelineServer服务获取)参数设置为“false”,直接从ResourceManager上面获取app任务数据。
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse
- MapReduce服务_什么是Flink_如何使用Flink
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Hue_如何使用Hue
- API网关支持http到https自动重定向_开放API_API网关APIG-华为云
- MRS备份恢复_MapReduce备份_数据备份
- 什么是Manager_Manager的功能_MRS运维管理
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是HDFS_HDFS特性