MAPREDUCE服务 MRS-常用参数:EventLog的周期清理
EventLog的周期清理
JobHistory上的Event log是随每次任务的提交而累积的,任务提交的次数多了之后会造成太多文件的存放。Spark提供了周期清理Evnet log的功能,用户可以通过配置开关和相应的清理周期参数来进行控制。
参数 |
描述 |
默认值 |
---|---|---|
spark.history.fs.cleaner.enabled |
是否打开清理功能。 |
true |
spark.history.fs.cleaner.interval |
清理功能的检查周期。 |
1d |
spark.history.fs.cleaner.maxAge |
日志的最长保留时间。 |
4d |
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 流水线参数使用
- GaussDB(DWS)常用SQL_常用SQL命令_SQL语法
- GaussDB数据库参数调优_GaussDB版本_高斯数据库参数调优
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 文档数据库服务DDS参数模板管理_MongoDB参数管理_华为云
- MRS备份恢复_MapReduce备份_数据备份
- GaussDB(for MySQL)包周期容量变更_包周期库扩容_变更CPU_存储扩容
- 基因测序数据安全存储_低成本基因测序数据存储_基因数据存储