AI开发平台MODELARTS-Standard模型部署

时间:2024-08-30 09:04:27

Standard模型部署

ModelArts Standard提供模型、服务管理能力,支持多厂商多框架多功能的镜像和模型统一纳管。

通常AI模型部署和规模化落地非常复杂。

例如,智慧交通项目中,在获得训练好的模型后,需要部署到云、边、端多种场景。如果在端侧部署,需要一次性部署到不同规格、不同厂商的摄像机上,这是一项非常耗时、费力的巨大工程,ModelArts支持将训练好的模型一键部署到端、边、云的各种设备上和各种场景上,并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。

图1 部署模型的流程
  • 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。
  • 支持各种部署场景,既能部署为云端的在线推理服务和批量推理任务,也能部署到端,边等各种设备。
  • 一键部署,可以直接推送部署到边缘设备中,选择智能边缘节点,推送模型。
  • ModelArts基于Snt3高性能AI推理芯片的深度优化,具有PB级别的单日推理数据处理能力,支持发布云上推理的API百万个以上,推理网络时延毫秒。
support.huaweicloud.com/productdesc-modelarts/modelarts_01_0015.html