AI开发平台MODELARTS-使用大模型在ModelArts Standard创建AI应用部署在线服务:背景说明
背景说明
目前大模型的参数量已经达到千亿甚至万亿,随之大模型的体积也越来越大。千亿参数大模型的体积超过200G,在版本管理、生产部署上对平台系统产生了新的要求。例如:导入AI应用时,需要支持动态调整租户存储配额;模型加载、启动慢,部署时需要灵活的超时配置;当负载异常重启,模型需要重新加载,服务恢复时间长的问题亟待解决。
为了应对如上诉求,ModelArts推理平台针对性给出解决方案,用于支持大模型场景下的AI应用管理和服务部署。
- ModelArts推理部署_模型_AI应用来源-华为云
- ModelArts推理部署_AI应用_部署服务-华为云
- ModelArts是什么_AI开发平台_ModelArts功能
- ModelArts推理部署_在线服务_访问在线服务-华为云
- ModelArts推理部署_创建AI应用_自定义镜像规范-华为云
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts推理部署_OBS导入_模型包规范-华为云
- ModelArts模型训练_模型训练简介_如何训练模型
- ModelArts自动学习是什么_自动学习简介_零代码完成AI开发
- ModelArts模型训练_创建训练作业_如何创建训练作业