华为云首页用户手册

AI开发平台MODELARTS-最佳实践

时间：2023-11-21 09:08:24

AI开发平台MODELARTS

最佳实践

免费体验：一键完成商超商品识别模型部署：ModelArts的AI Gallery中提供了大量免费的模型供用户一键部署，进行AI体验学习。
使用自定义镜像创建AI应用：提供了在ModelArts平台使用自定义镜像导入模型的样例，帮助您快速熟悉平台的使用方法。
纳管Atlas 500，将模型部署为边缘服务：Atlas人工智能计算平台，是基于华为昇腾系列AI处理器，打造面向“端、边、云”的全场景AI基础设施方案。配合Atlas系列边缘设备，华为云智能边缘服务（IEF）和 AI开发平台（ModelArts）结合，将构建的AI模型快速部署至Atlas设备中，满足在安防、交通、社区、园区、商场、超市等复杂环境区域的应用需求。
推理服务访问公网：提供了推理服务访问公网的方法。
推理服务端到端运维：ModelArts推理服务的端到端运维覆盖了算法开发、服务运维和业务运行的整个AI流程。
使用自定义引擎创建AI应用：用户可以通过选择自己存储在SWR服务中的镜像作为AI应用的引擎，指定预先存储于OBS服务中的文件目录路径作为模型包，来创建AI应用，轻松地应对ModelArts平台预置引擎无法满足个性化诉求的场景。
推理服务支持虚拟私有云（VPC）直连的高速访问通道：使用VPC直连的高速访问通道，用户的业务请求不需要经过推理平台，而是直接经VPC对等连接发送到实例处理，访问速度更快。
WebSocket在线服务全流程开发：用户在部署在线服务时如果选择了“升级为WebSocket”，服务部署完成后，API接口公网地址将是一个WebSocket协议地址。本案例介绍WebSocket在线服务全流程开发过程。
使用大模型创建AI应用部署在线服务：目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入AI应用管理时，需要支持动态调整租户存储配额；模型加载、启动慢，部署时需要灵活的超时配置；当负载异常重启，模型需要重新加载，服务恢复时间长的问题亟待解决。为了应对如上诉求，ModelArts推理平台针对性给出解决方案，用于支持大模型场景下的AI应用管理和服务部署。
TFServing框架迁移到推理自定义引擎：从TFServing迁移到使用ModelArts推理的AI应用管理和服务管理时，需要对原生TFServing镜像的构建方式做一定的改造，以使用ModelArts推理平台的模型版本管理能力和动态加载模型的部署能力。本案例将一步一步指导用户完成原生TFServing镜像到ModelArts推理自定义引擎的改造。