AI开发平台MODELARTS-FlUX.1基于DevServer适配PyTorch NPU推理指导（6.3.911）:步骤五：下载ComfyUI代码并安装依赖

时间：2024-12-17 18:06:51

AI开发平台MODELARTS AIGC模型训练推理

步骤五：下载ComfyUI代码并安装依赖

下载ComfyUI源码

从github下载ComfyUI代码并切换到0.2.2分支。

cd ${container_work_dir}
git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI.git 
cd ComfyUI 
# 切换到comfyui 0.2.2分支
git reset --hard 0c7c98a

下载flux模型权重
下载模型权重文件，并将模型放到容器内自定义挂载的工作目录。
- 下载Diffusion模型权重文件flux1-dev.safetensors，放到${container_work_dir}/ComfyUI/models/unet 目录下。其中，
  FLUX.1-dev下载链接：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
  
  如下图所示：
  
  图1 flux1-dev.safetensors
- 下载vae权重，放到 ${container_work_dir}/ComfyUI/models/vae 目录下，FLUX.1-dev和FLUX.1-schnell使用相同的vae权重。
  下载链接：
  
  https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
  
  如下图所示：
  
  图2 vae权重
- 下载text_encoder权重文件夹，放到${container_work_dir}/ComfyUI/models/clip 目录下。
  下载链接：https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main
  
  图3 text_encoder权重文件
替换Ascend_node
将${container_work_dir}/aigc_inference/torch_npu/comfyui/a82fae2/comfyui_ascend_node文件夹复制到${container_work_dir}/ComfyUI/custom_nodes/目录下。

安装ascend_diffusers插件

执行以下命令安装华为侧插件ascend_diffusers。

pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers

安装依赖

运行以下命令进入工作目录，安装所需依赖包。

cd ${container_work_dir}

pip install transformers==4.44.2  accelerate==0.34.2  sentencepiece==0.2.0  einops==0.8.0 torchsde==0.2.6  aiohttp==3.10.5  omegaconf==2.3.0   fastapi==0.115.0  uvicorn==0.30.6 spandrel==0.4.0   kornia==0.7.3

修改comfyui 源码
修改 ${container_work_dir}/ComfyUI/comfy/ldm/flux/math.py 文件中rope()方法，把linespace的dtype改成torch.float32：
下载workflow文件
以workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json为例：

下载链接： https://openart.ai/workflows/datou/flux1-dev/KnSeTKHjvuTd0RiUDSmW

如下图所示，单击“Download”进行下载，下载的json文件放到windows机器上任意位置即可，后续在windows上启动服务后需要加载使用。

图4 下载workflow文件