检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lab使用Standard Notebook实例进行AI开发。 如果您有自己的算法,想改造适配后迁移到ModelArts Standard平台上进行训练和推理,您可以参考使用自定义算法构建模型(手写数字识别)。 更多入门实践,请参考《ModelArts入门实践》章节。如果您有其他
人工标注图片数据 由于模型训练过程需要大量有标签的图片数据,因此在模型训练之前需对没有标签的图片添加标签。您可以通过手工标注或智能一键标注的方式添加标签,快速完成对图片的标注操作,也可以对已标注图片修改或删除标签进行重新标注。 针对图像分类场景,开始标注前,您需要了解: 图片标注支持多标签,即一张图片可添加多个标签。
单机单卡 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 监控资源 父主题: 调试与训练
查询服务详情,根据服务ID查询服务详情。 启动停止边缘节点服务实例 启动停止边缘节点服务实例。 更新服务配置 更新模型服务。 查询服务监控信息 查询服务监控信息。 查询服务更新日志 查询实时服务更新日志。 查询服务事件日志 查询服务事件日志,包含服务的操作记录及部署过程中的关键动作、部署失败原因。
数据集管理:提供数据集创建、数据预览、数据集版本管理等能力 数据标注:提供在线标注能力,包含图像分类、目标检测、音频分割、文本三元组等标注场景;提供图片智能标注方案,提升标注效率;提供团队标注能力,支持多人协同标注与标注任务的审核验收 数据处理:提供数据清洗、数据校验、数据增强、数据选择等分析处理能力
型训练成本 支持数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤 自动协调工作流步骤之间的所有依赖项,提供运行记录、监控、持续运行等功能 针对工作流开发,Workflow提供流水线需要覆盖的功能以及功能需要的参数描述,供用户使用SDK对步骤以及步骤之间的关系进行定义
支持各种部署场景,既能部署为云端的在线推理服务和批量推理任务,也能部署到端,边等各种设备。 一键部署,可以直接推送部署到边缘设备中,选择智能边缘节点,推送模型。 ModelArts基于Snt3高性能AI推理芯片的深度优化,具有PB级别的单日推理数据处理能力,支持发布云上推理的API百万个以上,推理网络时延毫秒。
弹性集群又分为Standard弹性集群与Lite弹性集群。 Standard弹性集群提供独享的计算资源,使用ModelArts Standard开发平台的训练作业、部署模型以及开发环境时,通过Standard弹性集群的计算资源进行实例下发。 Lite弹性集群面向k8s资源型用户,提供托管式
采用自动机器学习技术,基于信息熵上限近似模型的树搜索最优特征变换和基于信息熵上限近似模型的贝叶斯优化自动调参,从企业关系型(结构化)数据中,自动学习数据特征和规律,智能寻优特征&ML模型及参数,准确性甚至达到专家开发者的调优水平 图1 自动学习流程 父主题: Standard功能介绍
ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 监控Lite Cluster资源:ModelArts支持使用AOM和Prometheus对资源进行监控,方便您了解当前的资源使用情况。 释放Lite Cluster资源:针对不再使用的Lite
即可调用任何模型,大幅度降低了模型开发门槛。 充足澎湃算力,最佳实践算力推荐方案,提升实践效率和成本 AI Gallery深谙开发者在人工智能项目推进过程中面临的实际困难,尤其是高昂的模型训练与部署成本,这往往成为创意落地的阻碍。通过大量开发者实践,针对主流昇腾云开源大模型,沉淀
数据处理场景介绍 数据处理功能仅在以下Region支持:华北-北京四、华北-北京一、华东-上海一、华南-广州。 ModelArts平台提供的数据处理功能,基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后,
Msprobe工具使用指导 Msprobe API预检 Msprobe精度比对 Msprobe梯度监控 父主题: PyTorch迁移精度调优
atus (request body携带status信息) modelarts:nodeservice:action - √ √ 查询服务监控信息 GET /v1/{project_id}/services/{service_id}/monitor modelarts:service:getMonitor
在右侧区域,单击切换规格,修改规格类型。 图3 切换规格 资源监控。 在使用过程中,如果想了解资源使用情况,可在右侧区域选择“Resource Monitor”,展示“CPU使用率”和“内存使用率”。 图4 资源监控 分享副本到AI Gallery。单击右上角的,将修改后的Notebook样例保存分享到AI
个训练作业,方便用户选择最优的模型 提供训练作业的事件信息(训练作业生命周期中的关键事件点)、训练日志(训练作业运行过程和异常信息)、资源监控(资源使用率数据)、Cloud Shell(登录训练容器的工具)等能力,方便用户更清楚得了解训练作业运行过程,并在遇到任务异常时更加准确的排查定位问题
大小,则显示默认值) 查看资源池监控 在资源池详情页,切换到“监控”页签。展示了CPU使用量、内存利用率、磁盘可用容量等使用情况,均以资源池的维度呈现。当资源池中有AI加速卡时,还会显示GPU、NPU的相关监控信息。 图5 查看资源视图 表1 监控指标 名称 指标含义 单位 取值范围
GPU训练迁移至PyTorch NPU训练 训练迁移 Transfer2NPU 代码自动迁移工具,通过简单import命令可将PyTorch训练脚本从GPU平台迁移至NPU平台运行。 包含在torch_npu包中。 自动迁移工具使用指导 训练业务代码适配昇腾PyTorch代码适配 PyTorch Analyse
使用VPC直连的高速访问通道,用户的业务请求不需要经过推理平台,而是直接经VPC对等连接发送到实例处理,访问速度更快。 由于请求不经过推理平台,所以会丢失以下功能: 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用AP
ModelArts数据管理支持哪些格式? 不同类型的数据集支持不同的功能。 数据集类型 标注类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本 自动分组 数据特征 文件型 图像分类 支持 支持 支持 支持 支持 支持 支持 支持 物体检测 支持 支持 支持 支持