AI开发平台MODELARTS-场景介绍:操作流程

时间:2024-11-12 16:42:22

操作流程

图1 操作流程图
表2 操作任务流程说明

阶段

任务

说明

准备工作

准备资源

本教程案例是基于ModelArts Standard运行,需要购买ModelArts专属资源池。

准备权重

准备对应模型的权重文件。

准备代码

准备AscendCloud-6.3.906-xxx.zip。

准备镜像

准备推理模型适用的容器镜像。

准备Notebook

本案例在Notebook上部署推理服务进行调试,因此需要创建Notebook。

部署推理服务

在Notebook调试环境中部署推理服务

介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。

若需要部署量化模型,需在Notebook中进行模型权重转换后再部署推理服务。

在推理生产环境中部署推理服务

介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1981.html