检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1基于DevSever适配PyTorch NPU Fintune&Lora训练指导(6.3.911) Flux是一种基于扩散过程的图像生成模型,应用于文生图场景,能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt
P和配置安全组,只需要对Grafana绑定公网IP和配置安全组即可。 图1 添加入方向规则 在浏览器地址栏输入http://<弹性公网IP>:9090,即可打开Prometheus监控浏览页面。单击Graph菜单,在输入框输入任意一个指标名称即可看到Prometheus收集到的指标数据:
run_inference.py 参数说明: height、width: 指定生成图片的长和宽,例如:512、960、1024 prompt_list: prompt列表,可以自行修改。 推理执行成功如下图所示。 图1 推理执行成功 父主题: 文生图模型训练推理
可以访问前端页面,如下运行文生图。 图2 访问前端页面 根据上面checkpoint的箭头,对新的npu的checkpoint进行规划,如下图。 图3 规划checkpoint 在ckpt_name中选择要使用的权重文件,单击Queue Prompt加入推理队列进行推理,如下图: 图4 进入推理队列
run_inference.py 参数说明: height、width: 指定生成图片的长和宽,例如:512、960、1024 prompt_list: prompt列表,可以自行修改。 推理执行成功如下图所示。 图1 推理执行成功 父主题: 文生图模型训练推理
“subgraph tuning”:子图调优。 “operator tuning”:算子调优。 “subgraph tuning, operator tuning”:先进行子图调优,再进行算子调优。 推荐先进行子图调优,再进行算子调优,因为先进行子图调优会生成图的切分方式,子图调优后算子已经被切分
NPU训练指导(6.3.908) 训练场景和方案介绍 准备镜像环境 Finetune训练 LoRA训练 Controlnet训练 父主题: 文生图模型训练推理
如何运行一条工作流,请您参考运行第一条Workflow。 Workflow的构成 工作流是对一个有向无环图的描述。开发者可以通过Workflow进行有向无环图(Directed Acyclic Graph,DAG)的开发。一个DAG是由节点和节点之间的关系描述组成的。开发者通过定义节点的执行内
超期时间。 表16 WorkflowSubgraph 参数 是否必选 参数类型 描述 name 否 String 子图名称。 steps 否 Array of strings 子图step成员。 表17 WorkflowPolicy 参数 是否必选 参数类型 描述 use_scene 否
生成1280x1280图片,使用Ascend: 1* ascend-snt9b(64GB),约耗时7.5秒。 图1 生成图片耗时(1) 生成1280x1280图片,使用Ascend: 1* ascend-snt9b(32GB),约耗时9.3秒。 图2 生成图片耗时(2) 不开启Flash
准备工作 ModelArts提供了集群视图、节点视图、用户视图、任务视图和任务详细视图这5个模板,这些模板在Grafana官方文档可以搜索下载,您导入模板配置Dashboards时,可直接使用。 表1 模板下载地址 模板名称 下载地址 集群视图 https://cnnorth4-modelarts-sdk
在“数据标注”节点单击“实例详情”进入数据标注页面,数据标注的图片来源有两种,通过本地添加图片和同步OBS中的图片数据。 图3 添加本地图片 图4 同步OBS图片数据 添加数据:您可以将本地图片快速添加到ModelArts,同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”,根据弹出的对话框的引导,输入正确的数据并添加。
roject_dir”加入到“sys.path”中解决该问题。 使用from module_dir import module_file来导包,代码结构如下: project_dir |- main.py |- module_dir | |- __init__.py | |-
fromstring(mox.file.read(img_path), np.uint8), 1) 在MXNet环境下使用torch包,请您尝试如下方法先进行导包: import os os.sysytem('pip install torch') import torch 父主题: OBS操作相关故障
bms:serverFlavors:get 查询裸金属规格。依赖权限需要配置在IAM项目视图中。 DEW kps:domainKeypairs:list 配置密钥对。依赖权限需要配置在IAM项目视图中。 网络管理 VPC vpc:routes:create vpc:routes:list
最后执行python脚本进行推理: # shell python mslite_pipeline.py 图2 执行推理脚本 图3 MindSpore Lite pipeline输出的结果图片 父主题: 应用迁移
针对不同类型的自动学习项目,训练作业对数据集的要求如下。 图像分类:用于训练的图片,至少有2种以上的分类(即2种以上的标签),每种分类的图片数不少于5张。 物体检测:用于训练的图片,至少有1种以上的分类(即1种以上的标签),每种分类的图片数不少于5张。 预测分析:由于预测分析任务的数据集
长训Loss比对结果 在单卡环境下,执行一个Epoch训练任务,GPU和NPU训练叠加效果如下: 上图中的红色曲线为GPU Loss折线图,蓝色曲线为NPU训练Loss折线图。在整网训练单个Epoch情况下,Loss总体的绝对偏差大约为0.08181。 父主题: 精度对齐
AnnotationFormatConfig excluded_labels 不导入包含指定标签的样本。 否 Label的列表 import_annotated 用于导入智能标注结果的任务,是否导入原数据集中已标注的样本到待确认,默认值为"false"即不导入原数据集中已标注的样本到待确认。可选值如下: true:导入原数据集中已标注的样本到待确认
创建处理任务,支持创建“特征分析”任务和“数据处理”两大类任务。可通过指定请求体中的复合参数“template”的“id”字段来创建某类任务。 “特征分析”是指基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。 “数据处理”是指从大量的、杂乱无章的、难以理解的数据中抽取