云服务器内容精选
-
步骤五：下载ComfyUI代码并安装依赖 下载ComfyUI源码 从github下载ComfyUI代码并切换到0.2.2分支。 cd ${container_work_dir} git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 切换到comfyui 0.2.2分支 git reset --hard 0c7c98a 下载flux模型权重 下载模型权重文件，并将模型放到容器内自定义挂载的工作目录。 下载Diffusion模型权重文件flux1-dev.safetensors和flux1-schnell.safetensors，放到${container_work_dir}/ComfyUI/models/unet 目录下。其中， FLUX.1-dev下载链接：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main FLUX.1-schnell下载链接：https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main 如下图所示： 图1 flux1-dev.safetensors 图2 flux1-schnell.safetensors 下载vae权重，放到 ${container_work_dir}/ComfyUI/models/vae 目录下，FLUX.1-dev和FLUX.1-schnell使用相同的vae权重。 下载链接： https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 如下图所示： 图3 vae权重 下载text_encoder权重文件夹，放到${container_work_dir}/ComfyUI/models/clip 目录下。 下载链接：https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main 图4 text_encoder权重文件 替换Ascend_node 将${container_work_dir}/aigc_inference/torch_npu/comfyui/a82fae2/comfyui_ascend_node文件夹复制到${container_work_dir}/ComfyUI/custom_nodes/目录下。 安装ascend_diffusers插件 执行以下命令安装华为侧插件ascend_diffusers。 pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers 安装依赖 运行以下命令进入工作目录，安装所需依赖包。 cd ${container_work_dir} pip install transformers==4.44.2 accelerate==0.34.2 sentencepiece==0.2.0 einops==0.8.0 torchsde==0.2.6 aiohttp==3.10.5 omegaconf==2.3.0 fastapi==0.115.0 uvicorn==0.30.6 spandrel==0.4.0 kornia==0.7.3 修改comfyui 源码 修改 ${container_work_dir}/Comfyui/comfy/ldm/flux/math.py 文件中rope()方法，把linespace的dtype改成torch.float32： 下载workflow文件 以workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json为例： 下载链接： https://openart.ai/workflows/datou/flux1-dev/KnSeTKHjvuTd0RiUDSmW 如下图所示，单击“Download”进行下载，下载的json文件放到windows机器上任意位置即可，后续在windows上启动服务后需要加载使用。 图5 下载workflow文件
-
步骤七：Flux+Diffusers 0.30.2适配 本章节介绍Flux模型使用Diffusers 0.30.2框架的推理过程。使用官方提供的已经训练好的模型进行推理，输入prompt生成指定像素的图片。 使用如下命令登录huggingface，并输入个人账号的token，用于自动下载flux权重。 huggingface-cli login 下载华为侧插件代码包AscendCloud-AIGC-6.3.909-xxx.zip文件，本案例使用的是解压到子目录 ${container_work_dir}/aigc_inference/torch_npu/diffusers/0.30.2/下的所有文件，将该目录上传到宿主机上的工作目录下，例如 ${container_work_dir}/flux/，目录结构如下。 图16 目录结构 运行prepare.sh脚本。 bash prepare.sh 之后，会在当前目录下产生两个新文件attention_processor.py和transformer_flux.py，使用这两个新文件覆盖diffusers安装路径下的源码文件。 diffusers安装路径以/home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers为例，执行以下命令进行替换： cp attention_processor.py /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers/models/attention_processor.py cp transformer_flux.py /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers/models/transformers/transformer_flux.py 启动推理脚本。 python run.py 脚本中，参数说明如下： MODEL_NAME：模型名称，支持 "black-forest-labs/FLUX.1-dev" 和 "black-forest-labs/FLUX.1-schnell" h_list ：生成图片的长，默认为 [688, 1024] w_list： 生成图片的宽，默认为 [1024, 1024] INFER_STEP：推理步数，默认20步 推理完成后，生成的图片保存在 ${container_work_dir}/flux/result 目录下，如下图所示： 图17 推理结果
-
步骤六：ComfyUI 0.2.2 服务调用 获取容器IP地址 在已启动的容器内，使用ifconfig命令获取容器IP，记为${container_ip_address}，本例中为172.17.0.7。若无效可使用ip addr，或者自行寻找其他方式获取到容器IP。 图6 使用ifconfig命令获取容器IP 使用容器IP启动服务 cd ${container_work_dir}/ComfyUI python main.py --port ${port} --force-fp16 --listen ${container_ip_address} 参数说明： port：为启动镜像时映射port container_ip_address：为容器IP，如上图的172.17.0.7 浏览器启动 浏览器启动时，需要使用宿主机IP，在浏览器中输入 http://${host_ip_address}:${port} ,例如：http://7.216.55.96:8585/ 参数说明： host_ip_address：为宿主机IP地址 port：为启动镜像时映射port 访问界面如下图。 图7 访问界面 加载workflow文件，选择workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json。 图8 加载workflow文件 选择Diffusion model，可以选择flux1-dev.safetensors或者flux1-schnell.safetensors，分别进行测试，如下图。 图9 选择flux1-dev.safetensors 图10 选择 flux1-schnell.safetensors 选择clip模型，clip_name1选择text_encoders/t5xxl_fp16.safetensors，clip_name2选择text_encoders/clip_l.safetensors, 如下图。 图11 选择clip模型 选择vae模型，如下图。 图12 选择vae模型 配置推理的参数，如width、height、batch_size等，如下图所示。 图13 配置推理参数 单击Queue Prompt加入推理队列进行推理，如下图 图14 推理队列 成功之后结果如下图所示。首次加载或切换模型推理时，需要加载模型并进行相关初始化工作，首次推理时间较长，请耐心等待。 图15 推理成功
-
镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.909版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt9b-20240910112800-2a95df3 cann_8.0.rc3 pytorch_2.1.0 驱动23.0.6 从SWR拉取 不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。
-
步骤一：检查环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
-
步骤二：启动镜像 启动容器镜像，推理只需要启动单卡，启动前可以根据实际需要增加修改参数。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录" export container_name="自定义容器名称" export image_name="镜像名称或ID" // 启动一个容器去运行镜像 docker run -itd --net=bridge \ --device=/dev/davinci0 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ --shm-size=60g \ -p 8585:8585 \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /var/log/npu/:/usr/slog \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} \ /bin/bash 参数说明： --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 --device=/dev/davinci0：挂载NPU设备，该推理示例中挂载了1张卡davinci0。 -p 8585:8585：映射端口号，用户可自定义未被占用的端口号。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
-
步骤七：Flux+Diffusers 0.30.2适配 本章节介绍Flux模型使用Diffusers 0.30.2框架的推理过程。使用官方提供的已经训练好的模型进行推理，输入prompt生成指定像素的图片。 使用如下命令登录huggingface，并输入个人账号的token，用于自动下载flux权重。 huggingface-cli login 下载华为侧插件代码包AscendCloud-AIGC-6.3.911-xxx.zip文件，将该文件夹上传到宿主机上的工作目录下，例如 ${container_work_dir}/，并解压。 安装ascend_diffusers插件 pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers 运行以下命令进入工作目录，安装所需依赖包。 cd ${container_work_dir} pip install diffusers==0.30.2 修改diffusers源码 修改 /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers/models/transformers/transformer_flux.py 文件中rope()方法，把scale计算中的dtype改成torch.float32。 图14 修改diffusers源码 运行推理脚本。 sed -i 's/self.verify = True/self.verify = False/g' /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/requests/sessions.py python ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers/examples/sd_inference_example.py --flux --model_id black-forest-labs/FLUX.1-dev --prompt 'a dog' --num_inference_steps 25 --width 688 --height 1024 参数说明如下： --width ：生成图片的宽 --height： 生成图片的长 --num_inference_steps：推理步数 --dynamo: 使用图模式。如果使用该参数，则首次编译时间较长，请耐心等待。 推理完成后，生成的图片image_1024x688.png保存在当前路径下，如下图所示。 图15 推理结果
-
步骤六：ComfyUI 0.2.2 服务调用 获取容器IP地址 在已启动的容器内，使用ifconfig命令获取容器IP，记为${container_ip_address}，本例中为172.17.0.7。若无效可使用ip addr，或者自行寻找其他方式获取到容器IP。 图5 使用ifconfig命令获取容器IP 使用容器IP启动服务 cd ${container_work_dir}/ComfyUI python main.py --port ${port} --force-fp16 --listen ${container_ip_address} 参数说明： port：为启动镜像时映射port container_ip_address：为容器IP，如上图的172.17.0.7 默认不使用图模式 若要使用图模式，需要配置环境变量 export GRAPH_MODE=1。如果使用了图模式，则首次推理时间较长，请耐心等待。 浏览器启动 浏览器启动时，需要使用宿主机IP，在浏览器中输入 http://${host_ip_address}:${port} ,例如：http://7.216.55.96:8585/ 参数说明： host_ip_address：为宿主机IP地址 port：为启动镜像时映射port 访问界面如下图。 图6 访问界面 加载workflow文件，选择workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json。 图7 加载workflow文件 选择Diffusion model，单击选择flux1-dev.safetensors，如下图。 图8 选择flux1-dev.safetensors 选择clip模型，clip_name1选择text_encoders/t5xxl_fp16.safetensors，clip_name2选择text_encoders/clip_l.safetensors, 如下图。 图9 选择clip模型 选择vae模型，如下图。 图10 选择vae模型 配置推理的参数，如width、height、batch_size等，本文以 688*1024，25步为例，如下图所示。 图11 配置推理参数 单击Queue Prompt加入推理队列进行推理，如下图 图12 推理队列 成功之后结果如下图所示。首次加载或切换模型推理时，需要加载模型并进行相关初始化工作，如果使用了图模式，则首次推理时间较长，请耐心等待。 图13 推理成功
-
步骤五：下载ComfyUI代码并安装依赖 下载ComfyUI源码 从github下载ComfyUI代码并切换到0.2.2分支。 cd ${container_work_dir} git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 切换到comfyui 0.2.2分支 git reset --hard 0c7c98a 下载flux模型权重 下载模型权重文件，并将模型放到容器内自定义挂载的工作目录。 下载Diffusion模型权重文件flux1-dev.safetensors，放到${container_work_dir}/ComfyUI/models/unet 目录下。其中， FLUX.1-dev下载链接：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 如下图所示： 图1 flux1-dev.safetensors 下载vae权重，放到 ${container_work_dir}/ComfyUI/models/vae 目录下，FLUX.1-dev和FLUX.1-schnell使用相同的vae权重。 下载链接： https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 如下图所示： 图2 vae权重 下载text_encoder权重文件夹，放到${container_work_dir}/ComfyUI/models/clip 目录下。 下载链接：https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main 图3 text_encoder权重文件 替换Ascend_node 将${container_work_dir}/aigc_inference/torch_npu/comfyui/a82fae2/comfyui_ascend_node文件夹复制到${container_work_dir}/ComfyUI/custom_nodes/目录下。 安装ascend_diffusers插件 执行以下命令安装华为侧插件ascend_diffusers。 pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers 安装依赖 运行以下命令进入工作目录，安装所需依赖包。 cd ${container_work_dir} pip install transformers==4.44.2 accelerate==0.34.2 sentencepiece==0.2.0 einops==0.8.0 torchsde==0.2.6 aiohttp==3.10.5 omegaconf==2.3.0 fastapi==0.115.0 uvicorn==0.30.6 spandrel==0.4.0 kornia==0.7.3 修改comfyui 源码 修改 ${container_work_dir}/ComfyUI/comfy/ldm/flux/math.py 文件中rope()方法，把linespace的dtype改成torch.float32： 下载workflow文件 以workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json为例： 下载链接： https://openart.ai/workflows/datou/flux1-dev/KnSeTKHjvuTd0RiUDSmW 如下图所示，单击“Download”进行下载，下载的json文件放到windows机器上任意位置即可，后续在windows上启动服务后需要加载使用。 图4 下载workflow文件
-
软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包 AscendCloud-6.3.911软件包中的AscendCloud-AIGC-6.3.911-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
-
镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.911版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b cann_8.0.rc3 pytorch_2.1.0 驱动23.0.6 从SWR拉取 不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。
-
步骤二：启动镜像 启动容器镜像，推理只需要启动单卡，启动前可以根据实际需要增加修改参数。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录" export container_name="自定义容器名称" export image_name="镜像名称或ID" // 启动一个容器去运行镜像 docker run -itd --net=bridge \ --device=/dev/davinci0 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ --shm-size=60g \ -p 8585:8585 \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /var/log/npu/:/usr/slog \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} \ /bin/bash 参数说明： --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 --device=/dev/davinci0：挂载NPU设备，该推理示例中挂载了1张卡davinci0。 -p 8585:8585：映射端口号，用户可自定义未被占用的端口号。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
-
步骤一：检查环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
-
Step7 创建训练作业 创建训练作业，填下如下参数。 创建方式：选择自定义算法，启动方式选择自定义，然后选择上传到SWR的 自定义镜像 。 代码目录：选择上传到OBS的代码文件夹，例如/sdxl-train/code。若用户需要修改代码文件，可修改OBS桶中代码文件，创建训练作业时，会将OBS的code目录复制到训练容器的/home/ma-user/sdxl-train/user-job-dir/目录下，覆盖容器中原有的code目录。 启动命令：直接运行启动脚本文件diffusers_finetune_train.sh。 sh /home/ma-user/sdxl-train/user-job-dir/code/diffusers_finetune_train.sh 本地代码目录：保持默认即可。 工作目录：选择代码文件目录，例如/home/ma-user/sdxl-train/user-job-dir/code/。 输出：单击“增加训练输出”，将模型保存到OBS中。参数名称为output，数据存储位置选择OBS桶中制定文件夹，例如sdxl-train/checkpoint，获取方式选择环境变量，/home/ma-user/modelarts/outputs/output_0下的模型文件会保存到OBS中。 图4 选择镜像 资源池：选择专属资源池，规格选择Ascend: 8*ascend-snt9b。如果需要多机训练，增加计算节点个数即可，启动脚本文件diffusers_finetune_train.sh支持多机训练。 图5 选择资源池规格 作业日志路径：选择输出日志到OBS的指定目录。 图6 选择作业日志路径 填写参数完成后，提交创建训练任务，训练完成后，作业状态会显示为已完成。 图7 训练完成
-
Step2 创建OBS桶 ModelArts使用 对象存储服务 （Object Storage Service，简称OBS）进行数据存储以及模型的备份和快照，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档需要将运行代码以及输入输出数据存放OBS，请提前创建OBS（参考创建OBS桶），例如桶名：sdxl-train。并在该桶下创建文件夹目录用于后续存储代码使用，例如：code。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
