云服务器内容精选

  • 获取代码并上传 上传推理代码AscendCloud-CV-6.3.910-xxx.zip到宿主机的工作目录中,包获取路径请参见表2。 上传代码到宿主机时使用的是root用户,此处需要在容器中执行如下命令统一文件属主为ma-user用户。 #统一文件属主为ma-user用户 sudo chown -R ma-user:ma-group ${container_work_dir} # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录 #例如:sudo chown -R ma-user:ma-group /home/ma-user/ws
  • 准备推理环境 安装transformers,用于转换模型和推理。 pip install transformers==4.45.2 获取推理代码。 cd ${container_work_dir} unzip AscendCloud-CV-6.3.910-*.zip cd Bert/bert_infer/mindspore_lite 获取bert-base-chinese模型文件。 mkdir bert-base-chinese wget -P bert-base-chinese https://huggingface.co/google-bert/bert-base-chinese/resolve/main/pytorch_model.bin wget -P bert-base-chinese https://huggingface.co/google-bert/bert-base-chinese/resolve/main/config.json wget -P bert-base-chinese https://huggingface.co/google-bert/bert-base-chinese/resolve/main/tokenizer.json wget -P bert-base-chinese https://huggingface.co/google-bert/bert-base-chinese/resolve/main/tokenizer_config.json wget -P bert-base-chinese https://huggingface.co/google-bert/bert-base-chinese/resolve/main/vocab.txt pt模型转onnx模型。 python pth2onnx.py ./bert-base-chinese/ ./bert_model.onnx python modify_onnx.py ./bert_model.onnx 该转换脚本用于Fill-Mask 任务,若是其他类型任务请按实际场景修改转换脚本。 onnx模型转mindir格式,执行如下命令,转换完成后会生成bert_model.mindir文件。 converter_lite --fmk=ONNX --modelFile=bert_model.onnx --outputFile=bert_model --inputShape='input_ids:1,512;attention_mask:1,512;token_type_ids:1,512' --saveType=MINDIR --optimize=ascend_oriented 动态seq_len场景下需要创建转换配置文件convert_config.ini,将如下内容写入配置文件: [acl_build_options] input_format="ND" input_shape="input_ids:1,-1;attention_mask:1,-1;token_type_ids:1,-1" ge.dynamicDims="50,50,50;100,100,100;150,150,150;200,200,200;250,250,250;300,300,300;350,350,350;400,400,400;450,450,450;512,512,512" 其中input_shape中的-1表示设置动态seq_len,ge.dynamicDims表示支持的seq_len值,可根据实际业务场景选取要支持的seq_len,上面的配置表示模型的三个输入shape支持[1, seq_len],seq_len取值[50,100, …,450,512]。另外需要注意seq_len不能超过模型支持的最大值,本文中下载的bert模型seq_len最大支持512。关于动态batch配置说明详见:https://www.mindspore.cn/lite/docs/zh-CN/r2.3.0/use/cloud_infer/converter_tool_ascend.html 使用如下转换命令: converter_lite --fmk=ONNX --modelFile=bert_model.onnx --outputFile=bert_model_dy --saveType=MINDIR --optimize=ascend_oriented --configFile=convert_config.ini 使用converter_lite转换模型时,如果报E10001: Value [linux] for parameter [--host_env_os] is invalid. Reason: os not supported, support setting are the OS types of opp package。 建议在启动容器镜像中通过docker run启动容器时,加上--privileged=true参数。
  • 开始推理 执行如下命令开始推理。 python infer.py --tokennizer_config_path ./bert-base-chinese/ --mindir_model_path bert_model_dy.mindir --onnx_model_path bert_model.onnx --input_text [MASK]京是中国的[MASK]都。 infer.py是NPU上使用MindSpore Lite推理的样例,不同业务场景需根据实际情况做相应修改。infer.py文件预置在AscendCloud-CV-6.3.910-xxx.zip软件包中。 infer.py中包含使用MindSpore Lite在NPU上推理和使用推理onnxruntime在CPU上推理,结果如下图,按顺序展示[MASK]位置最大概率填充的文字。 如果是静态seq_len推理,修改infer脚本中45行max_length 的值为静态seq_len,并屏蔽或者删除25~26行以及46~49行,如下图所示。
  • 启动容器镜像 启动容器镜像。启动前请先按照参数说明修改${}中的参数。 docker run -it --net=host \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ --shm-size=32g \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /var/log/npu/:/usr/slog \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_id} \ /bin/bash 参数说明: device=/dev/davinci0,..., --device=/dev/davinci7:挂载NPU设备,示例中挂载了8张卡davinci0~davinci7,可根据需要选择挂载卡数。 ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统,work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 shm-size:共享内存大小。 ${container_name}:容器名称,进入容器时会用到,此处可以自己定义一个容器名称。 ${image_id}:镜像ID,通过docker images查看刚拉取的镜像ID。 容器不能挂载到/home/ma-user目录,此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下,拉起容器时会与基础镜像冲突,导致基础镜像不可用。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上,会导致后续的容器无法正常使用NPU功能。
  • 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.910-xxx.zip软件包中的AscendCloud-CV-6.3.910-xxx.zip 说明: 包名中的xxx表示具体的时间戳,以包名的实际时间为准。 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.910 版本。 说明: 如果没有下载权限,请联系您所在企业的华为方技术支持下载获取。 基础镜像 西南-贵阳一: swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 从SWR拉取。
  • 准备容器环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先释放被挂载的NPU或者联系华为方技术支持。 检查驱动版本。 运行如下命令查询驱动版本,回显信息中的“Software Version”字段值表示驱动版本。NPU ID表示设备编号,可通过npu-smi info -l命令查询。 npu-smi info -t board -i NPU ID 如果Atlas 300I Duo推理卡的驱动版本低于24.1.RC2.3,请参考升级文档升级驱动(24.1.RC2.3升级操作和24.1.RC2相同),24.1.RC2.3驱动软件包获取地址参考驱动软件包。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
  • 步骤六:ComfyUI 0.2.2 服务调用 获取容器IP地址 在已启动的容器内,使用ifconfig命令获取容器IP,记为${container_ip_address},本例中为172.17.0.7。若无效可使用ip addr,或者自行寻找其他方式获取到容器IP。 图6 使用ifconfig命令获取容器IP 使用容器IP启动服务 cd ${container_work_dir}/ComfyUI python main.py --port ${port} --force-fp16 --listen ${container_ip_address} 参数说明: port:为启动镜像时映射port container_ip_address:为容器IP,如上图的172.17.0.7 浏览器启动 浏览器启动时,需要使用宿主机IP,在浏览器中输入 http://${host_ip_address}:${port} ,例如:http://7.216.55.96:8585/ 参数说明: host_ip_address:为宿主机IP地址 port:为启动镜像时映射port 访问界面如下图。 图7 访问界面 加载workflow文件,选择workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json。 图8 加载workflow文件 选择Diffusion model,可以选择flux1-dev.safetensors或者flux1-schnell.safetensors,分别进行测试,如下图。 图9 选择flux1-dev.safetensors 图10 选择 flux1-schnell.safetensors 选择clip模型,clip_name1选择text_encoders/t5xxl_fp16.safetensors,clip_name2选择text_encoders/clip_l.safetensors, 如下图。 图11 选择clip模型 选择vae模型,如下图。 图12 选择vae模型 配置推理的参数,如width、height、batch_size等,如下图所示。 图13 配置推理参数 单击Queue Prompt加入推理队列进行推理,如下图 图14 推理队列 成功之后结果如下图所示。首次加载或切换模型推理时,需要加载模型并进行相关初始化工作,首次推理时间较长,请耐心等待。 图15 推理成功
  • 步骤五:下载ComfyUI代码并安装依赖 下载ComfyUI源码 从github下载ComfyUI代码并切换到0.2.2分支。 cd ${container_work_dir} git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 切换到comfyui 0.2.2分支 git reset --hard 0c7c98a 下载flux模型权重 下载模型权重文件,并将模型放到容器内自定义挂载的工作目录。 下载Diffusion模型权重文件flux1-dev.safetensors和flux1-schnell.safetensors,放到${container_work_dir}/ComfyUI/models/unet 目录下。其中, FLUX.1-dev下载链接:https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main FLUX.1-schnell下载链接:https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main 如下图所示: 图1 flux1-dev.safetensors 图2 flux1-schnell.safetensors 下载vae权重,放到 ${container_work_dir}/ComfyUI/models/vae 目录下,FLUX.1-dev和FLUX.1-schnell使用相同的vae权重。 下载链接: https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 如下图所示: 图3 vae权重 下载text_encoder权重文件夹,放到${container_work_dir}/ComfyUI/models/clip 目录下。 下载链接:https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main 图4 text_encoder权重文件 替换Ascend_node 将${container_work_dir}/aigc_inference/torch_npu/comfyui/a82fae2/comfyui_ascend_node文件夹复制到${container_work_dir}/ComfyUI/custom_nodes/目录下。 安装ascend_diffusers插件 执行以下命令安装华为侧插件ascend_diffusers。 pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers 安装依赖 运行以下命令进入工作目录,安装所需依赖包。 cd ${container_work_dir} pip install transformers==4.44.2 accelerate==0.34.2 sentencepiece==0.2.0 einops==0.8.0 torchsde==0.2.6 aiohttp==3.10.5 omegaconf==2.3.0 fastapi==0.115.0 uvicorn==0.30.6 spandrel==0.4.0 kornia==0.7.3 修改comfyui 源码 修改 ${container_work_dir}/Comfyui/comfy/ldm/flux/math.py 文件中rope()方法,把linespace的dtype改成torch.float32: 下载workflow文件 以workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json为例: 下载链接: https://openart.ai/workflows/datou/flux1-dev/KnSeTKHjvuTd0RiUDSmW 如下图所示,单击“Download”进行下载,下载的json文件放到windows机器上任意位置即可,后续在windows上启动服务后需要加载使用。 图5 下载workflow文件
  • 步骤七:Flux+Diffusers 0.30.2适配 本章节介绍Flux模型使用Diffusers 0.30.2框架的推理过程。使用官方提供的已经训练好的模型进行推理,输入prompt生成指定像素的图片。 使用如下命令登录huggingface,并输入个人账号的token,用于自动下载flux权重。 huggingface-cli login 下载华为侧插件代码包AscendCloud-AIGC-6.3.909-xxx.zip文件,本案例使用的是解压到子目录 ${container_work_dir}/aigc_inference/torch_npu/diffusers/0.30.2/下的所有文件,将该目录上传到宿主机上的工作目录下,例如 ${container_work_dir}/flux/,目录结构如下。 图16 目录结构 运行prepare.sh脚本。 bash prepare.sh 之后,会在当前目录下产生两个新文件attention_processor.py和transformer_flux.py,使用这两个新文件覆盖diffusers安装路径下的源码文件。 diffusers安装路径以/home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers为例,执行以下命令进行替换: cp attention_processor.py /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers/models/attention_processor.py cp transformer_flux.py /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers/models/transformers/transformer_flux.py 启动推理脚本。 python run.py 脚本中,参数说明如下: MODEL_NAME:模型名称,支持 "black-forest-labs/FLUX.1-dev" 和 "black-forest-labs/FLUX.1-schnell" h_list :生成图片的长,默认为 [688, 1024] w_list: 生成图片的宽,默认为 [1024, 1024] INFER_STEP:推理步数,默认20步 推理完成后,生成的图片保存在 ${container_work_dir}/flux/result 目录下,如下图所示: 图17 推理结果
  • 步骤一:检查环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU卡状态。运行如下命令,返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
  • 步骤二:启动镜像 启动容器镜像,推理只需要启动单卡,启动前可以根据实际需要增加修改参数。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录" export container_name="自定义容器名称" export image_name="镜像名称或ID" // 启动一个容器去运行镜像 docker run -itd --net=bridge \ --device=/dev/davinci0 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ --shm-size=60g \ -p 8585:8585 \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /var/log/npu/:/usr/slog \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} \ /bin/bash 参数说明: --name ${container_name}:容器名称,进入容器时会用到,此处可以自己定义一个容器名称。 --device=/dev/davinci0:挂载NPU设备,该推理示例中挂载了1张卡davinci0。 -p 8585:8585:映射端口号,用户可自定义未被占用的端口号。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上,会导致后续的容器无法正常使用NPU功能。
  • 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.909版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt9b-20240910112800-2a95df3 cann_8.0.rc3 pytorch_2.1.0 驱动23.0.6 从SWR拉取 不同软件版本对应的基础镜像地址不同,请严格按照软件版本和镜像配套关系获取基础镜像。
  • 步骤六:ComfyUI 0.2.2 服务调用 获取容器IP地址 在已启动的容器内,使用ifconfig命令获取容器IP,记为${container_ip_address},本例中为172.17.0.7。若无效可使用ip addr,或者自行寻找其他方式获取到容器IP。 图5 使用ifconfig命令获取容器IP 使用容器IP启动服务 cd ${container_work_dir}/ComfyUI python main.py --port ${port} --force-fp16 --listen ${container_ip_address} 参数说明: port:为启动镜像时映射port container_ip_address:为容器IP,如上图的172.17.0.7 默认不使用图模式 若要使用图模式,需要配置环境变量 export GRAPH_MODE=1。如果使用了图模式,则首次推理时间较长,请耐心等待。 浏览器启动 浏览器启动时,需要使用宿主机IP,在浏览器中输入 http://${host_ip_address}:${port} ,例如:http://7.216.55.96:8585/ 参数说明: host_ip_address:为宿主机IP地址 port:为启动镜像时映射port 访问界面如下图。 图6 访问界面 加载workflow文件,选择workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json。 图7 加载workflow文件 选择Diffusion model,单击选择flux1-dev.safetensors,如下图。 图8 选择flux1-dev.safetensors 选择clip模型,clip_name1选择text_encoders/t5xxl_fp16.safetensors,clip_name2选择text_encoders/clip_l.safetensors, 如下图。 图9 选择clip模型 选择vae模型,如下图。 图10 选择vae模型 配置推理的参数,如width、height、batch_size等,本文以 688*1024,25步为例,如下图所示。 图11 配置推理参数 单击Queue Prompt加入推理队列进行推理,如下图 图12 推理队列 成功之后结果如下图所示。首次加载或切换模型推理时,需要加载模型并进行相关初始化工作,如果使用了图模式,则首次推理时间较长,请耐心等待。 图13 推理成功
  • 步骤七:Flux+Diffusers 0.30.2适配 本章节介绍Flux模型使用Diffusers 0.30.2框架的推理过程。使用官方提供的已经训练好的模型进行推理,输入prompt生成指定像素的图片。 使用如下命令登录huggingface,并输入个人账号的token,用于自动下载flux权重。 huggingface-cli login 下载华为侧插件代码包AscendCloud-AIGC-6.3.911-xxx.zip文件,将该文件夹上传到宿主机上的工作目录下,例如 ${container_work_dir}/,并解压。 安装ascend_diffusers插件 pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers 运行以下命令进入工作目录,安装所需依赖包。 cd ${container_work_dir} pip install diffusers==0.30.2 修改diffusers源码 修改 /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers/models/transformers/transformer_flux.py 文件中rope()方法,把scale计算中的dtype改成torch.float32。 图14 修改diffusers源码 运行推理脚本。 sed -i 's/self.verify = True/self.verify = False/g' /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/requests/sessions.py python ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers/examples/sd_inference_example.py --flux --model_id black-forest-labs/FLUX.1-dev --prompt 'a dog' --num_inference_steps 25 --width 688 --height 1024 参数说明如下: --width :生成图片的宽 --height: 生成图片的长 --num_inference_steps:推理步数 --dynamo: 使用图模式。如果使用该参数,则首次编译时间较长,请耐心等待。 推理完成后,生成的图片image_1024x688.png保存在当前路径下,如下图所示。 图15 推理结果
  • 步骤五:下载ComfyUI代码并安装依赖 下载ComfyUI源码 从github下载ComfyUI代码并切换到0.2.2分支。 cd ${container_work_dir} git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 切换到comfyui 0.2.2分支 git reset --hard 0c7c98a 下载flux模型权重 下载模型权重文件,并将模型放到容器内自定义挂载的工作目录。 下载Diffusion模型权重文件flux1-dev.safetensors,放到${container_work_dir}/ComfyUI/models/unet 目录下。其中, FLUX.1-dev下载链接:https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 如下图所示: 图1 flux1-dev.safetensors 下载vae权重,放到 ${container_work_dir}/ComfyUI/models/vae 目录下,FLUX.1-dev和FLUX.1-schnell使用相同的vae权重。 下载链接: https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 如下图所示: 图2 vae权重 下载text_encoder权重文件夹,放到${container_work_dir}/ComfyUI/models/clip 目录下。 下载链接:https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main 图3 text_encoder权重文件 替换Ascend_node 将${container_work_dir}/aigc_inference/torch_npu/comfyui/a82fae2/comfyui_ascend_node文件夹复制到${container_work_dir}/ComfyUI/custom_nodes/目录下。 安装ascend_diffusers插件 执行以下命令安装华为侧插件ascend_diffusers。 pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers 安装依赖 运行以下命令进入工作目录,安装所需依赖包。 cd ${container_work_dir} pip install transformers==4.44.2 accelerate==0.34.2 sentencepiece==0.2.0 einops==0.8.0 torchsde==0.2.6 aiohttp==3.10.5 omegaconf==2.3.0 fastapi==0.115.0 uvicorn==0.30.6 spandrel==0.4.0 kornia==0.7.3 修改comfyui 源码 修改 ${container_work_dir}/ComfyUI/comfy/ldm/flux/math.py 文件中rope()方法,把linespace的dtype改成torch.float32: 下载workflow文件 以workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json为例: 下载链接: https://openart.ai/workflows/datou/flux1-dev/KnSeTKHjvuTd0RiUDSmW 如下图所示,单击“Download”进行下载,下载的json文件放到windows机器上任意位置即可,后续在windows上启动服务后需要加载使用。 图4 下载workflow文件