AI开发平台MODELARTS-推理场景介绍:约束限制

时间:2024-11-12 16:42:39

约束限制

  • 本方案目前仅适用于部分企业客户。
  • 本文档适配昇腾云ModelArts 6.3.909版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。
  • 资源规格推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9B资源。
  • 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。
  • 支持FP16和BF16数据类型推理。
  • 适配的CANN版本是cann_8.0.rc3。
  • DevServer驱动版本要求23.0.6。
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_90901.html