检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lite的DevServer环境中部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 方案概览 本方案介绍了在ModelArts的DevServer上使用昇腾计算资源部署Stable Diffusion WebUI套件用于推理的详细过程。完成本方案的部署，
本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.910-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。
8：图像的饱和度与训练数据集的特征分布存在较大偏移。 9：图像的色彩丰富程度与训练数据集的特征分布存在较大偏移。 10：图像的清晰度与训练数据集的特征分布存在较大偏移。 11：图像的目标框数量与训练数据集的特征分布存在较大偏移。 12：图像中目标框的面积标准差与训练数据集的特征分布存在较大偏移。
覆盖真实环境的所有场景。 训练集的数据质量对于模型的精度有很大影响，建议训练集音频的采样率和采样精度保持一致。 标注质量对于最终的模型精度有极大的影响，标注过程中尽量不要出现误标情况。 音频标注涉及到的标注标签和声音内容只支持中文和英文，不支持小语种。 数据上传至OBS 在本文档
本教程中用到的模型软件包如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。
ing”也请替换为自定义的值。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 此处生成的登录指令有效期为24小时，如果需要长期有效的登录指令，请参见获取长期有效登录指令。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。
训练场景主要查看自研的依赖包是否正常，查看pip list是否包含所需的包，查看容器直接调用的python是否是自己所需要的那个（如果容器镜像装了多个python，需要设置python路径的环境变量）。 测试训练启动脚本。 优先使用手工进行数据复制的工作并验证 一般在镜像里不包含训练所
“目标区域”：选择您需要将该数据集下载到的区域位置，如“华北-北京四”。 “数据类型”：选择需要处理的文件类型。数据类型更多信息请参考数据集的类型。 “数据集输出位置”：数据集输出位置的OBS路径，此位置会存放输出的标注信息等文件，此位置不能和OBS数据源中的文件路径相同或为其子目录。 “数据集输入位置”：AI
本教程中用到的模型软件包如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.910-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
本教程中用到的模型软件包如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-905-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
或者需要重新生成缓存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。 per_device_train_batch_size 1 必须修改，指定每个设备的训练批次大小。
zip软件包中的AscendCloud-CV-6.3.910-xxx.zip 说明： 包名中的xxx表示具体的时间戳，以包名的实际时间为准。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。
框架时，请选择您使用的引擎所对应的运行时环境。目前支持的运行时环境列表请参见推理支持的AI引擎。 需要注意的是，如果您的模型需指定CPU或GPU上运行时，请根据runtime的后缀信息选择，当runtime中未包含cpu或gpu信息时，请仔细阅读“推理支持的AI引擎”中每个runtime的说明信息。
保证图片质量：不能有损坏的图片，目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。 每一类数据尽量多，尽量均衡。期望获得良好效果，图像分类项目中，至少有两种以上的分类，每种分类的样本不少于20张。 为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 适配的Cann版本是cann_8.0.rc2。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
Gallery在原有Transformers库的基础上，融入了对于昇腾硬件的适配与支持。对AI有使用诉求的企业、NLP领域开发者，可以借助这个库，便捷地使用昇腾算力进行自然语言理解（NLU）和自然语言生成（NLG）任务的SOTA模型开发与应用。 支持的模型结构框架 AI Gallery的Transforme
任务，导致数据缺失。 当模型的“任务类型”是除“文本问答”和“文本生成”之外的类型（即自定义模型）时，上传的模型文件要满足自定义模型规范，否则该模型无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当托管的是自定义镜像时，上传的模型文件要满足自定义镜像规范，否则该镜像无法正常使用AI
是 被标注文件的文件名。 size 是 表示图像的像素信息。 width：必选字段，图片的宽度。 height：必选字段，图片的高度。 depth：必选字段，图片的通道数。 segmented 是 表示是否用于分割。 mask_source 否 表示图像分割保存的mask路径。 object
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
