AI开发平台MODELARTS-场景介绍:约束限制

时间:2024-11-12 16:42:38

约束限制

  • 本方案目前仅适用于部分企业客户。
  • 本文档适配昇腾云ModelArts 6.3.908版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。
  • 推理部署使用的服务框架是vLLM。vLLM支持v0.5.0版本。
  • 仅支持FP16和BF16数据类型推理。
  • 本案例仅支持在专属资源池上运行。
  • 专属资源池驱动版本要求23.0.6。
  • 适配的CANN版本是cann_8.0.rc3。
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_90841.html