MAPREDUCE服务 MRS-HDFS写并发较大时报副本不足:解决办法

时间:2024-08-27 10:23:56

解决办法

  1. 登录HDFS的WebUI页面,进入DataNode的JMX页面。

    1. 在HDFS原生界面,选择Datanodes页面。
    2. 找到对应的DataNode节点,单击Http Address地址进入DataNode详情。
    3. 将url的“datanode.html”改为“jmx”就能获取到DataNode的JMX信息。

  2. 搜索“XceiverCount”指标,当该指标的值*Block块的大小超过DataNode磁盘的容量,就说明预约写Block的磁盘空间不足。
  3. 发生该问题,通常有以下两种方法来解决:

    方法一:降低业务的并发度。

    方法二:减少业务写文件的数目,将多个文件合并成一个文件来写。

support.huaweicloud.com/trouble-mrs/mrs_03_0291.html