检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--use-v2-block-manager：vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引，若不使用该功能，则无需配置。注意：若使用投机推理功能，必须开启此参数。 服务启动后，会打印如下类似信息。
约束限制 本文档适配昇腾云ModelArts 6.3.907版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
约束限制 本文档适配昇腾云ModelArts 6.3.904版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
约束限制 本文档适配昇腾云ModelArts 6.3.904版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
本文档适配昇腾云ModelArts 6.3.910版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。
约束限制 本文档适配昇腾云ModelArts 6.3.906版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 推理需要单机单卡。 确保容器可以访问公网。
约束限制 本文档适配昇腾云ModelArts 6.3.906版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 训练至少需要单机8卡。 确保容器可以访问公网。
ma-user/sdwebui && git config --global http.sslVerify false && git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git # 切换到1.9.0版本
pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240528150158-b521cc0 SWR上拉取 约束限制 本文档适配昇腾云ModelArts 6.3.905版本
约束限制 本文档适配昇腾云ModelArts 6.3.906版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
pre_version_id Long 训练作业前一版本的名称。 engine_type integer 训练作业的引擎类型。
表2 模型镜像版本 模型 版本 CANN cann_8.0.rc3 驱动 23.0.6 PyTorch 2.1.0 约束限制 本文档适配昇腾云ModelArts 6.3.908版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
_3.9-hce_2.0.2312-aarch64-snt9b-20240528150158-b521cc0 SWR上拉取 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc2 PyTorch 2.1.0 约束限制 本文档适配昇腾云ModelArts 6.3.905版本
barrier错误 4、需要开启profiling功能进行性能数据采集和解析请参考录制Profiling 5、训练过程中报"ModuleNotFoundError: No module named 'multipart'"关键字异常，可更新python-multipart为0.0.12版本
表2 模型镜像版本 模型 版本 CANN cann_8.0.rc2 驱动 23.0.6 PyTorch 2.1.0 约束限制 本文档适配昇腾云ModelArts 6.3.907版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
个性化配置 您可以为在线服务的不同版本设定不同配置条件，并支持携带自定义运行参数，丰富版本分流策略或同一版本内的不同运行配置。您可以打开个性化配置按钮，单击“查看配置”修改服务个性化配置。 服务流量限制 服务流量限制是指每秒内一个服务能够被访问的次数上限。
约束限制 本文档适配昇腾云ModelArts 6.3.910版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 训练至少需要单机8卡。 确保容器可以访问公网。
约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 训练至少需要单机8卡。 确保容器可以访问公网。
图4 推理成功 步骤三：WebUI部署 安装依赖和模型包 下载webui1.9.0版本软件包。
pre_version_id Long 训练作业前一版本的ID。 engine_type Long 训练作业的引擎类型。 engine_name String 训练作业的引擎名称。 engine_id Long 训练作业的引擎ID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
