华为云首页用户手册

AI开发平台MODELARTS-准备推理环境:步骤六：进入容器

AI开发平台MODELARTS-准备推理环境:步骤六：进入容器

时间：2025-03-12 09:40:19

AI开发平台MODELARTS 推理服务部署

步骤六：进入容器

进入容器。

docker exec -it -u ma-user ${container_name} /bin/bash

评估推理资源。运行如下命令，返回NPU设备信息可用的卡数。
```
npu-smi info       # 启动推理服务之前检查卡是否被占用、端口是否被占用，是否有对应运行的进程
```
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。启动后容器默认端口是8080。
配置需要使用的NPU卡为容器中的第几张卡。例如：实际使用的是容器中第1张卡，此处填写“0”。
```
export ASCEND_RT_VISIBLE_DEVI CES =0
```
如果启动服务需要使用多张卡，则按容器中的卡号依次编排。例如：实际使用的是容器中第1张和第2张卡，此处填写为“0,1”，以此类推。
```
export ASCEND_RT_VISIBLE_DEVICES=0,1
```
可以通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。
图1 查询结果

启动推理服务的具体操作步骤请参见启动推理服务。

上一篇：AI开发平台MODELARTS-准备推理环境:步骤一：检查环境

下一篇：AI开发平台MODELARTS-准备推理环境:步骤一：检查环境

开年采购季抽奖赢万元免单

立即前往

续费同价 L实例 2核2G 4M

98元/年

企业专享 X实例 2核4G 5M

198元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-准备推理环境:步骤六：进入容器

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题