ModelArts AI应用来源

  • 收起 展开
    自动学习 收起 展开

    使用ModelArts自动学习开发AI模型无需编写代码,您只需上传数据、创建项目、完成数据标注、发布训练、然后将训练的模型部署上线。新版自动学习中,流程由workflow进行承载。

    帮助文档
  • 收起 展开

    Workflow(也称工作流)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。

    帮助文档
  • 收起 展开
    开发环境Notebook 收起 展开

    ModelArts开发环境,以云原生的资源使用和开发工具链的集成,目标为不同类型AI开发、探索、教学用户,提供更好云化AI开发体验。开发环境支持一键镜像保存功能。

    帮助文档
  • 收起 展开
    训练作业 收起 展开

    ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外,ModelArts还提供了从AI Gallery订阅算法,您可以不关注模型开发,直接使用AI Gallery的算法,通过算法参数的调整,得到一个满意的模型

    帮助文档
  • 收起 展开
    本地构建镜像 收起 展开

    本地开发好模型,构建自定义镜像,最后上传至容器镜像服务SWR,从SWR中导入镜像创建AI为应用。

    帮助文档
  • 收起 展开
    本地准备模型包 收起 展开

    在本地准备模型包,编写模型配置文件和模型推理代码,将准备好的模型包上传至对象存储服务OBS,从OBS导入模型创建为AI应用。

    帮助文档
  • 收起 展开
    AI Gellary订阅模型 收起 展开

    在AI Gallery中,支持订阅官方发布或者他人分享的模型,订阅后的模型,可推送至ModelArts模型管理中,进行统一管理。

    帮助文档

自动学习

使用ModelArts自动学习开发AI模型无需编写代码,您只需上传数据、创建项目、完成数据标注、发布训练、然后将训练的模型部署上线。将训练的模型部署上线的过程中,将会生成一个AI应用,命名规范为exeMl-{类别}_ExeMl_xxx。

命名规范

Workflow

ModelArts服务为用户提供了Workflow工具,区别于传统的机器学习模型构建,开发者可以使用Workflow开发生产流水线。基于MLOps的概念,Workflow会提供运行记录、监控、持续运行等功能。根据角色的分工与概念,产品上将工作流的开发和持续迭代分开。

Workflow(也称工作流)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。

开发环境Notebook

在AI开发阶段,ModelArts也致力于提升AI开发体验,降低开发门槛。ModelArts开发环境,以云原生的资源使用和开发工具链的集成,目标为不同类型AI开发、探索、教学用户,提供更好云化AI开发体验。Notebook支持一键镜像保存。保存后的镜像可以通过容器镜像导入模型方式创建AI应用。

训练作业

ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外,ModelArts还提供了从AI Gallery订阅算法,您可以不关注模型开发,直接使用AI Gallery的算法,通过算法参数的调整,得到一个满意的模型。

创建AI应用时,导入ModelArts训练作业中训练完成的模型。

本地构建镜像

本地开发好模型,构建自定义镜像,最后上传至容器镜像服务SWR,从SWR中导入镜像创建AI为应用。如何制作自定义镜像,请参考ModelArts官网文档从0-1制作自定义镜像并创建AI应用

针对您本地开发的模型,在制作AI应用的自定义镜像时,需满足ModelArts定义的规范。请参考ModelArts官网文档创建AI应用的自定义镜像规范

本地准备模型包

ModelArts支持本地准备模型包,编写模型配置文件和模型推理代码,将准备好的模型包上传至对象存储服务OBS,从OBS导入模型创建为AI应用。

制作模型包,则需要符合一定的模型包规范。模型包里面必需包含“model”文件夹,“model”文件夹下面放置模型文件,模型配置文件,模型推理代码文件。

模型包结构示例(以TensorFlow模型包结构为例)

发布该模型时只需要指定到“ocr”目录。

OBS桶/目录名
|── ocr
| ├── model 必选: 固定子目录名称,用于放置模型相关文件
| │ ├── <<自定义python包>> 可选:用户自有的Python包,在模型推理代码中可以直接引用
| │ ├── saved_model.pb 必选: protocol buffer格式文件,包含该模型的图描述
| │ ├── variables 对*.pb模型主文件而言必选;固定子目录名称,包含模型的权重偏差等信息
| │ │ ├── variables.index 必选
| │ │ ├── variables.data-00000-of-00001 必选
| │ ├──config.json 必选:模型配置文件,文件名称固定为config.json, 只允许放置一个
| │ ├──customize_service.py 必选:模型推理代码,文件名称固定为customize_service.py, 只允许放置一个,customize_service.py依赖的文件可以直接放model目录下

在AI Gellary中订阅模型

在AI Gallery中,支持订阅官方发布或者他人分享的模型,订阅后的模型,可推送至ModelArts模型管理中,进行统一管理。

常见问题

常见问题

  • 自动学习生成的模型,支持哪些其他操作?

    ModelArts自动学习生成的模型支持如下操作:

    • 支持部署为在线服务、批量服务或边缘服务。

    在自动学习页面中,仅支持部署为在线服务,如需部署为批量服务或边缘服务,可在“AI应用管理> AI应用 ”页面中直接部署。

    • 支持发布至市场

    将产生的模型发布至AI Gallery,共享给其他用户。

    • 支持创建新版本

    创建新版本,仅支持从ModelArts训练作业、OBS、模型模板、或自定义镜像中选择元模型。无法从原自动学习项目中,创建新版本。

    • 支持删除模型或其模型版本

  • 如何保存Notebook镜像环境?

    ModelArts中Notebook保存镜像,镜像会以快照的形式保存,保存过程约5分钟,此时不可再操作实例。

    镜像保存成功后,实例状态变为“运行中”,用户可在“镜像管理”页面查看到该镜像详情。

    单击镜像的名称,进入镜像详情页,可以查看镜像版本/ID,状态,资源类型,镜像大小,SWR地址等。


  • 通过自定义镜像创建AI应用失败

    可能原因如下:

    • 导入AI应用使用的镜像地址不合法或实际镜像不存在

    • 用户给ModelArts的委托中没有SWR相关操作权限

    • 用户为子账号,没有主账号SWR的权限

    • 使用的是非自己账号的镜像