AI开发平台MODELARTS-ModelArts Standard使用流程:Standard使用流程说明

时间:2024-08-16 20:39:01

Standard使用流程说明

ModelArts Standard平台提供了从数据准备到模型部署的AI全流程开发,兼容开发者的使用习惯,支持多种引擎和用户场景,使用自由度较高。针对AI开发的每个环节,Standard功能使用相对自由,您可以根据实际需要选择其中的环节。下文介绍使用ModelArts平台,从准备数据到完成模型开发上线的全流程。

图1 Standard使用流程
表1 使用流程说明

流程

子任务

说明

详细指导

配置权限

快速配置ModelArts委托授权

ModelArts功能使用还依赖与其他云服务的交互,需要先配置委托授权,允许ModelArts访问相关依赖服务。

快速配置ModelArts委托授权

创建 IAM 用户并授权使用ModelArts

对于企业或高校用户,需要创建独立的IAM用户和子用户,并对用户进行细粒度的权限配置,以达到精细化资源、权限管理之目的时,需要参考此章节配置。

创建IAM用户并授权使用ModelArts

创建OBS桶(可选)

创建OBS桶用于ModelArts存储数据

由于ModelArts本身没有数据存储的功能,使用Modelarts Standard进行AI开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。因此,建议您在使用ModelArts之前先创建一个OBS桶。

创建OBS桶可以提前完成,也可以在后续使用到时再创建。

创建OBS桶用于ModelArts存储数据

准备资源(可选)

创建Stanard专属资源池

ModelArts Standard支持公共资源池和专属资源池。

公共资源池:方便快捷,无需创建,创建训练推理任务时直接选择即可。此时,忽略此步骤。

专属资源池:用户独占资源,需要先购买创建。如果使用专属资源池,需要完成此步骤。

创建Standard专属资源池

准备数据(可选)

创建数据集

ModelArts Standard提供了数据管理功能,用户可以在ModelArts Standard中创建数据集,用于管理、预处理、标注数据。

如果用户已经准备了可用于训练的数据,直接上传到OBS即可,无需使用数据管理功能。

创建数据集

标注数据

发布数据集

开发调试

创建Notebook

创建一个Notebook作为开发环境,用于调试训练和推理代码。

建议先在开发环境中调试完成训练代码后再创建生产训练任务。

创建Notebook实例

训练模型

准备算法

创建训练作业前需要先准备算法,可以订阅AI Gallery中的算法,也可以使用用户自己的算法。

准备算法

创建训练作业

创建一个训练作业,选择可用的数据集版本,并使用前面编写完成的训练脚本。训练完成后,将生成模型并存储至OBS中。

创建训练作业

管理AI应用

编写推理代码和配置文件

针对您生成的模型,建议您按照ModelArts提供的模型包规范,编写推理代码和配置文件,并将推理代码和配置文件存储至训练输出位置。

模型包规范介绍

创建AI应用

将训练完成的模型导入至ModelArts创建为AI应用,方便将AI应用部署上线。

创建AI应用

部署AI应用

部署服务

ModelArts支持将模型部署为在线服务、批量服务和边缘服务。

访问服务

服务部署完成后,针对在线服务和边缘服务,您可以访问并使用服务,针对批量服务,您可以查看其预测结果。

support.huaweicloud.com/usermanual-standard-modelarts/umn-standard-modelarts-0001.html