AI开发平台MODELARTS-推理场景介绍:约束限制

时间:2024-12-17 18:06:54

约束限制

  • 本方案目前仅适用于部分企业客户。
  • 本文档适配昇腾云ModelArts 6.3.911版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。
  • 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。
  • 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。
  • 推理部署使用的服务框架是vLLM。vLLM支持v0.6.3版本。
  • 支持FP16和BF16数据类型推理。
  • Lite k8s Cluster驱动版本推荐为23.0.6。
  • 适配的CANN版本是cann_8.0.rc3。
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91121.html