AI开发平台MODELARTS-推理场景介绍:软件配套版本

时间:2024-06-24 11:27:15

软件配套版本

本方案支持的软件配套版本和依赖包获取地址如表1所示。

表1 软件配套版本和获取地址

软件名称

说明

下载地址

AscendCloud-3rdLLM-6.3.905-xxx.zip

说明:

软件包名称中的xxx表示时间戳。

包含了本教程中使用到的vLLM 0.3.2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明

6.3.905版本获取路径:Support-E(推荐)

说明:

如果没有下载权限,请联系您所在企业的华为方技术支持下载获取。

AscendCloud-OPP-6.3.905-xxx.zip

推理依赖的算子包。

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1901.html