AI开发平台MODELARTS-推理场景介绍:约束限制

时间:2024-11-05 09:54:19

约束限制

  • 本方案目前仅适用于企业客户。
  • 本文档适配昇腾云ModelArts 6.3.904版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。
  • 资源规格推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9B资源。
  • 推理部署使用的服务框架是vLLM(官网地址:https://github.com/vllm-project/vllm/tree/v0.3.2,版本:v0.3.2)。本教程是基于vLLM的昇腾适配的推理方案部署指导,支持FP16和BF16数据类型推理。
  • 推理镜像环境配套的CANN版本是cann_8.0.rc1,PyTorch版本是2.1.0。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1941.html