AI-方案概述:方案架构

时间:2024-11-07 17:13:43
AI

方案架构

该解决方案使用主流开源大模型,帮助用户快速搭建基于Standard适配PyTorch NPU的推理系统。

图1 方案架构图

该解决方案会部署如下资源:

  • 创建1台弹性云服务器 E CS ,用于帮助用户制作镜像并上传。
  • 创建1个弹性公网IP EIP,并关联弹性云服务器 ECS,提供访问公网和被公网访问能力。
  • 创建一个安全组,通过配置安全组规则,为云服务器提供安全防护。
  • 创建一个 容器镜像服务 组织,用于上传镜像。
  • 使用 函数工作流 FunctionGraph创建一个函数,用于调用AI应用、在线服务接口,实现在 AI开发平台 ModelArts上快速部署推理服务。
support.huaweicloud.com/doslmpnpus-aislt/doslmpnpus_01.html