MAPREDUCE服务 MRS-HDFS性能差导致HBase服务不可用告警:原因分析

时间:2024-08-27 10:23:51

原因分析

该问题多半为HDFS性能较慢,导致健康检查超时,从而导致监控告警。可通过以下方式判断:
  1. 首先查看HMaster日志(“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”),确认HMaster日志中没有频繁打印“system pause”或“jvm”等GC相关信息。
  2. 然后可以通过下列三种方式确认原因为HDFS性能慢造成告警产生。
    1. 使用客户端验证,通过hbase shell进入hbase命令行后,执行list验证需要运行多久。
    2. 开启HDFS的debug日志,然后查看下层目录很多的路径(hadoop fs -ls /XXX/XXX),验证需要运行多久。
    3. 打印HMaster进程jstack:

      su - omm

      jps

      jstack pid

  3. 如下图所示,Jstack显示一直卡在DFSClient.listPaths。
    图1 异常
support.huaweicloud.com/trouble-mrs/mrs_03_0068.html