MAPREDUCE服务 MRS-常用参数:EventLog的周期清理
EventLog的周期清理
JobHistory上的Event log是随每次任务的提交而累积的,任务提交的次数多了之后会造成太多文件的存放。Spark提供了周期清理Evnet log的功能,用户可以通过配置开关和相应的清理周期参数来进行控制。
参数 |
描述 |
默认值 |
---|---|---|
spark.history.fs.cleaner.enabled |
是否打开清理功能。 |
true |
spark.history.fs.cleaner.interval |
清理功能的检查周期。 |
1d |
spark.history.fs.cleaner.maxAge |
日志的最长保留时间。 |
4d |