华为云首页用户手册

AI开发平台MODELARTS-SDXL WebUI基于DevServer适配PyTorch NPU推理指导（6.3.902）:Step1 准备环境

时间：2024-11-12 16:42:21

AI开发平台MODELARTS

Step1 准备环境

请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。

购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
检查环境。
1. SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。
```
npu-smi info
```
  如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。
2. 检查docker是否安装。
```
docker -v   #检查docker是否安装
```
  如尚未安装，运行以下命令安装docker。
```
yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
```
3. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。
```
sysctl -p | grep net.ipv4.ip_forward
```
  如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。
```
sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward
```
获取基础镜像。建议使用官方提供的镜像部署推理服务。
镜像地址{image_url}为：

西南-贵阳一：swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_7.0.0-py_3.9-hce_2.0.2312-aarch64-snt9b-20240312154948-219655b
```
docker pull {image_url}
```
启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。
```
docker run -itd \
--name sdwebui \
-v /sys/fs/cgroup:/sys/fs/cgroup:ro \
-p 8183:8183 \
-v /etc/localtime:/etc/localtime \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
--shm-size 60g \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--device=/dev/davinci3 \
--network=bridge \
${image_name} bash
```
参数说明：
- --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如sdxl-diffusers。
- --device=/dev/davinci3：挂载主机的/dev/davinci3到容器的/dev/davinci3。可以使用npu-smi info查看空闲卡号，修改davinci后数字可以更改挂载卡。
- ${image_name} 代表 ${image_name}。
进入容器。需要将${container_name}替换为实际的容器名称，例如：sdwebui。
```
docker exec -it ${container_name} bash
```