AI开发平台MODELARTS-训练作业卡死检测:检测规则

时间:2024-08-26 19:27:18

检测规则

卡死检测主要是通过监控作业进程的状态和资源利用率来判定作业是否卡死。会启动一个进程来周期性地监控上述两个指标的变化情况。

  • 进程状态:只要训练作业中存在进程IO有变化,进入下一个检测周期。如果在多个检测周期内,作业所有进程IO都没有变化,则进入资源利用率检测阶段。
  • 资源利用率:在作业进程IO没有变化的情况下,采集一定时间段内的GPU利用率,并根据这段时间内的GPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化,则判定作业卡死。
support.huaweicloud.com/develop-modelarts/modelarts_trouble_0108.html