检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分布式训练功能介绍 ModelArts提供了如下能力: 丰富的官方预置镜像,满足用户的需求。 支持基于预置镜像自定义制作专属开发环境,并保存使用。 丰富的教程,帮助用户快速适配分布式训练,使用分布式训练极大减少训练时间。 分布式训练调测的能力,可在PyCharm/VSCode/J
创建Workflow节点 创建Workflow数据集节点 创建Workflow数据集标注节点 创建Workflow数据集导入节点 创建Workflow数据集版本发布节点 创建Workflow训练作业节点 创建Workflow模型注册节点 创建Workflow服务部署节点 父主题:
0:打标者 1:审核者 2:团队管理者 3:数据集拥有者 status 否 Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录 3:标注成员已删除 update_time 否 Long 更新时间。 worker_id 否 String
开发环境提示空间不足,如何解决? 当提示空间不足时,推荐使用EVS类型的Notebook实例。 参考如何在Notebook中上传下载OBS文件?操作指导,针对原有的Notebook,首先将代码和数据上传至OBS桶中。然后创建一个EVS类型的Notebook,将此OBS中的文件下载
开发环境提示空间不足,如何解决? 当提示空间不足时,推荐使用EVS类型的Notebook实例。 参考如何在Notebook中上传下载OBS文件?操作指导,针对原有的Notebook,首先将代码和数据上传至OBS桶中。然后创建一个EVS类型的Notebook,将此OBS中的文件下载
如何查看在哪个区域购买的套餐包? 登录ModelArts管理控制台,单击“总览”页的“我的套餐包”,进入“资源包”页面。 在“资源包”页面,您可以在“资源包列表”中查看已购买的套餐包。单击“资源包名称/ID”进入资源包详情。 在资源包详情页面,即可查看套餐包的购买区域。 图1 查看资源包区域
system("ulimit -c 0") 排查数据集大小,checkpoint保存文件大小,是否占满了磁盘空间。 必现的问题,使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直
释放一些不需要的tensor,使用过的,如下: del tmp_tensor torch.cuda.empty_cache() 必现的问题,使用本地Pycharm远程连接Notebook调试超参。 如果还存在问题,可能需要提工单进行定位,甚至需要隔离节点修复。 建议与总结 在创建训练作业前,推荐您先使用M
使用自动学习实现物体检测 准备物体检测数据 创建物体检测项目 标注物体检测数据 训练物体检测模型 部署物体检测服务 父主题: 使用自动学习实现零代码AI开发
示例:创建DDP分布式训练(PyTorch+NPU) 本文介绍了使用训练作业的自定义镜像+自定义启动命令来启动PyTorch DDP on Ascend加速卡训练。 前提条件 需要有Ascend加速卡资源池。 创建训练作业 本案例创建训练作业时,需要配置如下参数。 表1 创建训练作业的配置说明
无法在Notebook中基于已有算法工程进行资产(数据、模型权重、算法文件)安装、模型开发、训练和推理部署等任务。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。 父主题: 下线公告
返回数据的起始偏移量,默认为0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数
从DLI导入数据,用户需要选择DLI队列、数据库和表名称。所选择的表的schema(列名和类型)需与数据集一致,支持自动获取所选择表的schema。DLI的详细功能说明,请参考DLI用户指南。 图1 DLI导入数据 队列名称:系统自动将当前账号下的DLI队列展现在列表中,用户可以在下拉框中选择需要的队列。
已有的MRS集群,并从HDFS文件列表选择文件名称或所在目录,导入文件的列数需与数据集schema一致。MRS的详细功能说明,请参考MRS用户指南。 图1 从MRS导入数据 集群名称:系统自动将当前账号下的MRS集群展现在此列表中,但是流式集群不支持导入操作。请在下拉框中选择您所需的集群。
子用户使用专属资源池创建训练作业无法选择已有的SFS Turbo 由于权限不足,导致子用户无法看到已有的SFS Turbo,请为子用户所在用户组添加SFS FullAccess 、SFS Turbo FullAccess权限。 父主题: 功能咨询
从OBS导入数据到ModelArts数据集 从OBS导入数据到数据集场景介绍 从OBS目录导入数据到数据集 从Manifest文件导入数据到数据集 从OBS目录导入数据规范说明 从Manifest文件导入规范说明 父主题: 导入数据到ModelArts数据集
使用自动学习实现声音分类 准备声音分类数据 创建声音分类项目 标注声音分类数据 训练声音分类模型 部署声音分类服务 父主题: 使用自动学习实现零代码AI开发
使用自动学习实现文本分类 准备文本分类数据 创建文本分类项目 标注文本分类数据 训练文本分类模型 部署文本分类服务 父主题: 使用自动学习实现零代码AI开发
创建单机多卡的分布式训练(DataParallel) 本章节介绍基于PyTorch引擎的单机多卡数据并行训练。 MindSpore引擎的分布式训练参见MindSpore官网。 训练流程简述 单机多卡数据并行训练流程介绍如下: 将模型复制到多个GPU上 将一个Batch的数据均分到每一个GPU上
当单击“启动”运行工作流时,运行记录列表会自动刷新,并更新至最新一条的执行记录数据,且与DAG图和总览数据面板双向联动更新数据。每次启动后都会新增一条运行记录。 用户可以单击Workflow详情页中任一节点查询节点运行状况。包括节点的属性(节点的运行状态、启动时间以及运行时长)、输入位置与输出位置以及参数(数据集的标注任务名称)。