检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例:创建DDP分布式训练(PyTorch+NPU):针对Resnet18在cifar10数据集上的分类任务,给出了分布式训练改造(DDP)的完整代码示例,供用户学习参考。
训练脚本以分类的方式集中在scripts文件夹中。
详情如下: Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。 /data 否 客户PFS的挂载目录。 /cache 否 裸机规格时支持,用于挂载宿主机NVMe的硬盘。
搜索“图像分类-ResNet_v1_50工作流”,单击“订阅”,勾选“我已同意《数据安全与隐私风险承担条款》和《华为云AI Gallery服务协议》”,单击“继续订阅”即可完成工作流的订阅。订阅过的工作流会显示“已订阅”。
LLM大语言模型训练推理 在ModelArts Studio基于Qwen2-7B模型实现新闻自动分类 主流开源大模型基于Server适配PyTorch NPU推理指导(6.3.911) 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.911) 主流开源大模型基于
发布HiLens技能 表1 发布HiLens技能的参数说明 参数 说明 资产分类 选择“模型”。 发布方式 发布方式选择“创建新资产”。 资产标题 在AI Gallery显示的资产名称,建议按照您的实现目的设置。 来源 选择“HiLens”。
本方案目前仅适用于企业客户。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机单卡。
步骤1:准备训练数据 从AI Gallery下载训练数据,单击链接四类花卉图像分类小数据集,进入数据集详情页。 选择“数据集文件”页签后,单击“下载文件”跳转至下载详情页面。 在下载详情页面,填写参数。
保存成功的标签信息会在资产搜索页成为过滤分类条件。 图5 添加标签 关联资产 Notebook可以关联数据集资产。当Notebook关联了数据集时,数据集页面也显示关联了Notebook。
attr_4 教育情况 String 表示客户受教育的程度。 attr_5 房产情况 String 表示客户名下是否有房产。 attr_6 贷款情况 String 表示客户名下是否有贷款。 attr_7 存款情况 String 表示客户名下是否有存款。
可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体 102:文本三元组关系标签 103:文本三元组实体标签 200:语音分类 201:语音内容 202:语音分割 600:视频标注 表6 LabelAttribute 参数 参数类型 描述 default_value
模型软件包结构说明 AscendCloud-6.3.909代码包中AscendCloud-LLM代码包结构介绍如下,训练脚本以分类的方式集中在scripts文件夹中: |──llm_train # 模型训练代码包 |──AscendSpeed
模型软件包结构说明 AscendCloud-6.3.910代码包中AscendCloud-LLM代码包结构介绍如下,训练脚本以分类的方式集中在scripts文件夹中: |──llm_train # 模型训练代码包 |──AscendSpeed
default=wf.data.Dataset(dataset_name="**", version_name="**")) # 创建训练作业 job_step = wf.steps.JobStep( name="training_job", title="图像分类训练
模型软件包结构说明 AscendCloud-6.3.908代码包中AscendCloud-LLM代码包结构介绍如下,训练脚本以分类的方式集中在scripts文件夹中: |──llm_train # 模型训练代码包 |──AscendSpeed
模型软件包结构说明 AscendCloud-6.3.911代码包中AscendCloud-LLM代码包结构介绍如下,训练脚本以分类的方式集中在scripts文件夹中: |──llm_train # 模型训练代码包 |──AscendSpeed
(建议不小于2U8G,本地存储空间100G,带EIP全动态BGP,按流量10M带宽) × 表2 开源数据集训练效率参考 算法及数据 资源规格 Epoch数 运行时长(hh:mm:ss) 算法:PyTorch官方针对ImageNet的样例 数据:ImageNet分类数据子集 1机1卡
当前操作指导以图像分类的数据集为例。 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理 >数据集”,进入“数据集”管理页面。 在数据集所在行,单击操作列的“导入”。或者,您可以单击数据集名称,进入数据集“概览”页,在页面右上角单击“导入”。
模型软件包结构说明 AscendCloud-6.3.907代码包中AscendCloud-LLM代码包结构介绍如下,训练脚本以分类的方式集中在scripts文件夹中: |──llm_train # 模型训练代码包 |──AscendSpeed
训练脚本以分类的方式集中在scripts文件夹中。