AI开发平台MODELARTS-推理场景介绍:软件配套版本
软件配套版本
本方案支持的软件配套版本和依赖包获取地址如表1所示。
软件名称 |
说明 |
下载地址 |
---|---|---|
AscendCloud-3rdLLM-6.3.905-xxx.zip 说明:
软件包名称中的xxx表示时间戳。 |
包含了本教程中使用到的vLLM 0.3.2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 |
6.3.905版本获取路径:Support-E(推荐) 说明:
如果没有下载权限,请联系您所在企业的华为方技术支持下载获取。 |
AscendCloud-OPP-6.3.905-xxx.zip |
推理依赖的算子包。 |