该解决方案有何用途？
该解决方案基于ModelArts Standard资源模式适配PyTorch NPU推理技术，将主流的开源大模型与硬件相结合，实现高速、高效的模型推理。帮助用户快速一键部署AI应用、在线推理，主要适用于自然语言处理 LLM应用场景，为用户提供更加高效、便捷的服务。
方案架构
该解决方案使用函数工作流 FunctionGraph，帮助用户基于PyTorch NPU快速在AI开发平台ModelArts上部署开源大模型推理服务。
基于PyTorch NPU快速部署开源大模型
版本：1.0.0
上次更新日期：2024年11月
来源：由华为云构建
部署：预计30分钟
卸载：预计10分钟
架构描述
架构描述
-
使用函数工作流 FunctionGraph创建一个函数，用于调用AI应用、在线服务接口，实现在AI开发平台ModelArts上快速部署推理服务
-
使用AI开发平台ModelArts，创建AI应用，部署在线服务、用于获取推理结果
-
在统一身份认证服务 IAM上创建一个委托，用于授权FunctionGraph获取IAM用户Token，访问ModelArts在线服务和OBS桶
展开内容
收起内容
