华为云首页用户手册

MAPREDUCE服务 MRS-配置MapReduce任务日志归档和清理机制:配置场景

MAPREDUCE服务 MRS-配置MapReduce任务日志归档和清理机制:配置场景

时间：2024-06-12 19:16:54

MAPREDUCE服务 MRS 使用MapReduce

配置场景

执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。

作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内容被HistoryServer解析以后用于查看作业执行的详细信息。
任务日志记录了每个运行在Container中的任务输出的日志信息。默认情况下，任务日志只会存放在各NodeManager的本地磁盘上。打开日志聚合功能后，NodeManager会在作业运行完成后将本地的任务日志进行合并，写入到HDFS中。

由于MapReduce的作业日志和任务日志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。

日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（Map数）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。

上一篇：MAPREDUCE服务 MRS-新建CarbonData表:使用自定义列创建表

下一篇：MAPREDUCE服务 MRS-配置Flink任务进程参数:操作步骤

MAPREDUCE服务 MRS-配置MapReduce任务日志归档和清理机制:配置场景

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题