MAPREDUCE服务 MRS-通过客户端hadoop jar命令提交任务后返回“GC overhead”报错:解决办法

时间:2024-08-27 10:23:53

解决办法

  1. 排查启动的MapReduce任务是否对应的HDFS文件个数很多,如果很多,减少文件数量,提前先合并小文件或者尝试使用combineInputFormat来减少任务读取的文件数量。
  2. 增大hadoop命令执行时的内存,该内存在客户端中设置,修改“客户端安装目录/HDFS/component_env”文件中“CLIENT_GC_OPTS”的“-Xmx”参数,将该参数的默认值改大,比如改为512m。然后执行source component_env命令,使修改的参数生效。

support.huaweicloud.com/trouble-mrs/mrs_03_0141.html