AI开发平台MODELARTS-在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的:原因分析

时间:2024-11-06 21:52:50

原因分析

在线服务启动后,ModelArts提供两种方式的预测:

  • 方式1:在ModelArts的Console的预测页签进行预测;
  • 方式2:在ModelArts的Console的调用指南页签获取到调用地址,然后通过cURL或者Postman等工具进行预测。

无论是方式1还是方式2,当推理请求发送出去后都有可能收到不符合预期的推理结果。

推理请求经过一系列传递后最终是会进入到模型服务中,模型服务可能是以 自定义镜像 的方式导入的,可能是因为模型服务在处理推理请求时候出现了问题导致结果不符合预期,能准确判断出来是否是在模型服务中出的问题对于快速解决问题帮助很大。

support.huaweicloud.com/modelarts_faq/modelarts_05_3135.html