检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1-dev和FLUX.1-schnell。 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展Flux模型的FLUX.1-dev和FLUX.1-schnell两个版本分别使用ComfyUI 0.2.2和Diffusers
an1.0训练和推理。 方案概览 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 适配的Cann版本是cann_8.0.rc2。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获
推理加速卡类型 显示推理加速卡类型。 表4 模型页签详情 参数 说明 模型精度 显示该模型的模型召回率、精准率、准确率和F1值。 参数配置 可以查看模型的apis定义详情，以及模型的入参和出参。 运行时依赖 查看模型对环境的依赖。当构建任务失败后可以编辑运行时依赖，保存修改后将触发镜像重新构建。
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的
e_url和engine_id无需填写。 boot_file_url 是 String 训练作业的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与app_url一同出现，若填入model_id则app_url/boot_file_url和engine_id无需填写。
job形式下发lite池集群。训练测试用例使用NLP的bert模型，详细代码和指导可参考Bert。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1，已经把测试数据和代码打进镜像中。 docker pull swr.cn-southwest-2
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机单卡。 表1 环境要求 名称 版本 PyTorch pytorch_2.1.0 驱动 23.0.6 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
bash Step4 构建与代码解耦的镜像和容器环境 Step3 构建标准镜像和容器环境 和 Step4 构建与代码解耦的镜像和容器环境 都是搭建容器环境，任选其中一个即可。 一、启动镜像 启动容器镜像，训练需要8卡，推理分为单卡推理和多卡推理，启动前可以根据实际需要增加修改参数。
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。训练至少需要单机8卡，推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 驱动 23.0.5 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 驱动 23.0.5 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch 2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6
如图1所示，用户向ModelArts授权后，ModelArts使用委托授权的临时凭证访问和操作用户资源，协助用户自动化一些繁琐和耗时的操作。同时，委托凭证会同步到用户的作业中（Notebook实例和训练作业），用户在作业中可以使用委托凭证自行访问自己的资源。 在ModelArts服务中委托授权有两种方式：
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
rc3 驱动 23.0.6 PyTorch 2.1.0 约束限制 本文档适配昇腾云ModelArts 6.3.908版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 训练作业使用单机单卡资源。 确保容器可以访问公网。 本案例仅支持在专属资源池上运行。
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6
CANN cann_8.0.rc2 PyTorch 2.1.0 约束限制 本文档适配昇腾云ModelArts 6.3.905版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 训练作业至少需要单机8卡。 确保容器可以访问公网。 本案例仅支持在专属资源池上运行。
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 表1 环境要求 名称 版本 PyTorch pytorch_2.1.0 驱动 23.0.6 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
1.RC2.3 Python 3.9 CANN 8.0.RC3 MindSpore Lite 2.3.0 OS arm 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.910-xxx.zip软件包中的AscendCloud-CV-6
本方案目前仅适用于企业客户。 资源规格要求 推理部署推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B和300IDUO。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.909软件包中的AscendCloud-AIGC-6
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机。 表1 环境要求 名称 版本 driver 23.0.6 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
