AI开发平台MODELARTS-部署推理服务:Step5 进入容器安装推理依赖软件

时间：2024-10-13 20:24:37

AI开发平台MODELARTS 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

Step5 进入容器安装推理依赖软件

通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
```
docker exec -it ${container_name} bash
```

上传代码和权重到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。

#统一文件属主为ma-user用户
sudo chown -R ma-user:ma-group  ${container_work_dir}
# ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
#例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

解压算子包并将相应算子安装到环境中。

unzip AscendCloud-OPP-*.zip
pip install ascend_cloud_ops-1.0.0-py3-none-any.whl
pip install cann_ops-1.0.0-py3-none-any.whl

解压软件推理代码并安装依赖包。安装过程需要连接互联网git clone，请确保容器环境可以访问公网。
```
unzip AscendCloud-LLM-*.zip
cd llm_inference/ascend_vllm
bash build.sh
```
运行完后，会安装适配昇腾的vllm-0.4.2版本。

上一篇：AI开发平台MODELARTS-部署推理服务:Step3 上传代码包和权重文件

下一篇：AI开发平台MODELARTS-部署推理服务:Step3 上传代码包和权重文件