华为云首页用户手册

AI开发平台MODELARTS-在Notebook调试环境中部署推理服务:Step2 准备模型代码包和权重文件

AI开发平台MODELARTS-在Notebook调试环境中部署推理服务:Step2 准备模型代码包和权重文件

时间：2024-12-09 20:36:13

AI开发平台MODELARTS

Step2 准备模型代码包和权重文件

将OBS中的模型权重和表1获取的AscendCloud-3rdLLM-6.3.905-xxx.zip代码包上传到Notebook的工作目录/home/ma-user/work/下。上传代码参考如下。
```
import moxing as mox

obs_dir = "obs://${bucket_name}/${folder-name}"
local_dir = "/home/ma-user/work/qwen-14b"

mox.file.copy_parallel(obs_dir, local_dir)
```
实际操作如下图所示。
图1 上传OBS文件到Notebook的代码示例
构建推理代码。
解压AscendCloud-3rdLLM-6.3.905-xxx.zip代码包。
```
unzip AscendCloud-3rdLLM-6.3.905-*.zip
```
运行推理构建脚本build.sh文件，自动获取ascend_vllm_adapter文件夹中提供的vLLM相关算子代码。
```
cd llm_inference
bash build.sh
```
运行完后，在当前目录下会生成ascend_vllm文件夹，即为昇腾适配后的vLLM代码。

上一篇：AI开发平台MODELARTS-在Notebook调试环境中部署推理服务:Step6 推理服务的高阶配置（可选）

下一篇：AI开发平台MODELARTS-在Notebook调试环境中部署推理服务:Step6 推理服务的高阶配置（可选）

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-在Notebook调试环境中部署推理服务:Step2 准备模型代码包和权重文件

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题