AI开发平台ModelArts-Lite Server部署推理服务:步骤一:检查环境

时间:2025-02-12 15:14:09

步骤一:检查环境

  1. SSH登录机器后,检查NPU设备检查。如果驱动版本不是24.1.0,请先升级驱动和对应固件。
    npu-smi info -t board -i 1 | egrep -i "software|firmware"   #查看驱动和固件版本

    24.1.0版本驱动文件为Ascend-hdk-910b-npu-driver_24.1.0_linux-aarch64.run,对应固件文件为Ascend-hdk-910b-npu-firmware_7.5.0.3.220.run,请申请下载。

    安装固件命令如下,安装完后需要reboot重启机器。

    chmod 700 *.run./Ascend-hdk-910b-npu-firmware_7.5.0.3.220.run --fullreboot
    安装24.1.0驱动命令如下:
    ./Ascend-hdk-910b-npu-driver_24.1.0_linux-aarch64.run --full --install-for-all

    安装完成后再使用如下命令查看是否安装正确。

    npu-smi info -t board -i 1 | egrep -i "software|firmware"
  2. 检查docker是否安装。
    docker -v   #检查docker是否安装

    如尚未安装,运行以下命令安装docker。

    yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
  3. 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。
    sysctl -p | grep net.ipv4.ip_forward
    如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。
    sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.confsysctl -p | grep net.ipv4.ip_forward
support.huaweicloud.com/bestpractice-modelarts/modelarts_ds_infer_0006.html