AI开发平台MODELARTS-模型推理代码编写说明:自定义推理逻辑的推理脚本示例

时间:2024-12-10 11:36:21

自定义推理逻辑的推理脚本示例

首先,需要在配置文件中,定义自己的依赖包,详细示例请参见使用自定义依赖包的模型配置文件示例。然后通过如下示例代码,实现了“saved_model”格式模型的加载推理。

当前推理基础镜像使用的python的logging模块,采用的是默认的日志级别Warning,即当前只有warning级别的日志可以默认查询出来。如果想要指定INFO等级的日志能够查询出来,需要在代码中指定logging的输出日志等级为INFO级别。

support.huaweicloud.com/usermanual-standard-modelarts/inference-modelarts-0057.html