正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景说明 针对ModelArts目前不支持的AI引擎,您可以通过自定义镜像的方式将编写的模型导入ModelArts,创建为AI应用。 本文详细介绍如何在ModelArts的开发环境Notebook中使用基础镜像构建一个新的推理镜像,并完成AI应用的创建,部署为在线服务。本案例仅适用于华为云北京四和上海一站点。
授权管理 查看授权列表 配置授权 删除授权 创建ModelArts委托
模型训练完成后,可以将训练产生的权重文件用于推理。推理前参考本章节,将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。 如果无推理任务或者使用开源Huggingface权重文件进行推理,可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。
当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 图1 网卡名称错误 export GLOO_SOCKET_IFNAME=enp67s0f5
当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 export GLOO_SOCKET_IFNAME=enp67s0f5 #
Gallery,进入示例的详情页面查看示例。 进入AI Gallery首页。选择“示例”,进入示例列表页面。 在搜索框中输入创建好的示例名称,单击示例页签进入示例详情页。 编辑资产详情 资产发布成功后,发布者可以进入详情页修改该资产的名称、描述,让资产更吸引人。也可以修改资产的可见性。 编辑Notebook介绍
本文介绍部署上线场景下子账号所需的基本使用权限,您可参考权限清单新增对应业务场景的权限。示例场景为授权子账号权限,使其能够在开发环境Notebook中使用基础镜像构建一个新的推理镜像,并完成AI应用的创建,部署为在线服务。 权限清单 权限 表1 管理AI应用所需权限 业务场景 依赖的服务 依赖策略项
设置训练故障优雅退出 使用场景 随着模型规模和数据集的急剧增长,需要利用大规模的训练集训练大规模的神经网络。在大规模集群分布式训练时,会遇到集群中某个芯片、某台服务器故障,导致分布式训练任务失败。优雅退出是指中断的训练任务支持自动恢复,并可以在上一次训练中断的基础上继续训练,而不用从头开始。 约束限制
面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产,让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“物体检测”AI模型的训练和部署。依据开发者提供的标注数据及选择的场景,无需
分页参数offset,表示单次查询的条目偏移数量。假如要查询20~29条记录,offset为20,limit为10。 labels 否 String 执行记录标签。 status 否 String 执行记录状态。 scene_id 否 String 场景ID。 order 否 String 排序的方式。该字段必须与sort_by同时使用。
完成音频标注后,可以进行模型的训练。模型训练的目的是得到满足需求的声音分类模型。由于用于训练的音频,至少有2种以上的分类,每种分类的音频数不少于5个。 操作步骤 在开始训练之前,需要完成数据标注,然后再开始模型的自动训练。 在新版自动学习页面,单击项目名称进入运行总览页面,单击数据标注节点的“实例详情”进入数据标注页面,完成数据标注。
gface格式的权重文件。 如果无推理任务或者使用开源Huggingface权重文件进行推理,可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。 微调训练和预训练的区别 微调训练是在预训练权重的基础上使用指令数据集进行的,对模型权重进
被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 f1:F1值
设置无条件自动重启 背景信息 训练过程中可能会碰到预期外的情况导致训练失败,且无法及时重启训练作业,导致训练周期长,而无条件自动重启可以避免这类问题。无条件自动重启是指当训练作业失败时,不管什么原因系统都会自动重启训练作业,提高训练成功率和提升作业的稳定性。为了避免无效重启浪费算力资源,系统最多只支持连续无条件重启3次。
Standard训练作业 功能咨询 训练过程读取数据 编写训练代码 创建训练作业 管理训练作业版本 查看作业详情
tebook。 id String 待创建Notebook实例的镜像,需要指定镜像ID,ID格式为通用唯一识别码(Universally Unique Identifier,简称UUID)。预置镜像的ID参考查询支持的镜像列表获取。 name String 镜像名称,长度限制51
部署AI应用(在线服务) 部署为在线服务 查看服务详情 测试服务 访问在线服务 集成在线服务 CloudShell 父主题: 部署AI应用(部署上线)
预训练 预训练数据处理 预训练任务 断点续训练 查看日志和性能 父主题: Qwen系列模型基于DevServer适配PyTorch NPU训练指导(6.3.904)
监控Lite Cluster资源 使用AOM看Lite Cluster监控指标 使用Prometheus查看Lite Cluster监控指标 父主题: Lite Cluster资源管理
管理Workflow 查找Workflow工作流 查看Workflow工作流运行记录 管理Workflow工作流 重试/停止/运行Workflow节点 父主题: 使用Workflow实现低代码AI开发