AI开发平台MODELARTS-SD3 Diffusers框架基于DevServer适配PyTorch NPU推理指导(6.3.907):Step5启动推理

时间:2024-11-12 16:42:36

Step5启动推理

本章节介绍SD3模型的推理过程。使用官方提供的已经训练好的模型进行推理,输入prompt生成指定像素的图片。

  1. 使用如下命令登录huggingface,并输入个人账号的token:
    huggingface-cli login
  2. 执行如下命令运行推理脚本启动SD3服务:
    #配置环境变量
    export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    
    python run_inference.py

    参数说明:

    • height、width: 指定生成图片的长和宽,例如:512、960、1024
    • prompt_list: prompt列表,可以自行修改。

    推理执行成功如下图所示。

    图1 推理执行成功
support.huaweicloud.com/bestpractice-modelarts/modelarts_aigc_9074.html