AI开发平台MODELARTS-更新MaaS模型服务的模型权重:场景描述

时间:2024-11-15 09:43:56

场景描述

用户在运用大型模型进行推理任务时,需定期对模型进行迭代和优化。为适应模型权重的更新和迭代,必须对已部署的服务执行相应的升级操作,以确保服务使用的是最新模型。

ModelArts Studio大模型即服务平台支持滚动升级模型权重,允许模型服务在运行时进行权重的迭代升级,该操作不会影响部署服务的正常运行。滚动升级模型权重的功能避免了重新部署整个模型服务的必要性,从而确保了服务的连续性,无需执行任何业务迁移操作。

support.huaweicloud.com/usermanual-maas-modelarts/maas-modelarts-0018.html