AI开发平台MODELARTS-SDXL&SD1.5 ComfyUI插件基于DevServer适配PyTorch NPU推理指导(6.3.906):Step5 服务调用

时间:2024-11-12 16:42:19

Step5 服务调用

  1. 在浏览器中输入http://ip:8080访问界面,页面如下图。
    图3 访问界面
  2. 加载Ascend插件节点来替换原节点。双击访问页面,并搜索“Ascend”,单击“AscendNode”,如下图。
    图4 搜索Ascend

    会得到一个新的关于NPU的checkpoint,如下图。

    图5 NPU的checkpoint
  3. 根据上面checkpoint的箭头,对新的NPU的checkpoint进行规划,如下图所示。
    图6 规划checkpoint
  4. 在ckpt_name中选择要使用的权重文件,device_id为要使用的NPU卡号,单击“Queue Prompt”加入推理队列进行推理,如下图。
    图7 加入推理队列

    成功之后结果如下图。

    图8 推理成功

    首次加载或切换模型进行推理时,需要加载模型并进行相关的初始化工作,首次推理时间较长,请耐心等待。

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_01204.html