AI开发平台MODELARTS-使用大模型在ModelArts Standard创建AI应用部署在线服务:背景说明

时间:2024-11-12 16:42:18

背景说明

目前大模型的参数量已经达到千亿甚至万亿,随之大模型的体积也越来越大。千亿参数大模型的体积超过200G,在版本管理、生产部署上对平台系统产生了新的要求。例如:导入AI应用时,需要支持动态调整租户存储配额;模型加载、启动慢,部署时需要灵活的超时配置;当负载异常重启,模型需要重新加载,服务恢复时间长的问题亟待解决。

为了应对如上诉求,ModelArts推理平台针对性给出解决方案,用于支持大模型场景下的AI应用管理和服务部署。

support.huaweicloud.com/bestpractice-modelarts/modelarts_04_0275.html