AI开发平台MODELARTS-推理场景介绍:约束限制

时间:2024-09-14 22:29:34

约束限制

  • 本方案目前仅适用于部分企业客户。
  • 本文档适配昇腾云ModelArts 6.3.906版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。
  • 资源规格推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9B资源。
  • 推理部署使用的服务框架是vLLM。vLLM支持v0.4.2版本。
  • 支持FP16和BF16数据类型推理。
  • DevServer驱动版本要求23.0.5。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_3120.html