检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Workflow中使用大数据能力(DLI/MRS) 功能介绍 该节点通过调用MRS服务,提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时,可以根据已有数据使用该节点进行训练计算。 使用案例 在华为云MR
创建数据集标签 功能介绍 创建数据集标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{datas
支持的区域 当前支持的“region_name”包括华北-北京一(cn-north-1)、华北-北京四(cn-north-4)、华东-上海一(cn-east-3)、华南-广州(cn-south-1)、乌兰一(cn-north-9)。
当前训练任务排队的逻辑是先进先出,前面的任务没运行完后面的任务不会运行,有可能会造成小任务被“饿死”,需要用户注意。 饿死指的是前面的任务被一个大的任务堵着(例如是64卡),需要等空闲64卡这个任务才能运行,64卡的任务后面跟着1卡的。即使现在空出来30卡,这个1卡的任务也排不上。 如
MaaS大模型即服务平台功能介绍 对于普通企业来说,大模型开发不仅需要强大的算力,还需要学习训练、部署的相关参数配置和规格选择等专业知识。ModelArts Studio大模型即服务平台(后续简称为MaaS服务)作为一个面向客户的大模型服务化平台,提供简单易用的模型开发工具链,支
同地区创建云资源,可以将应用程序设计的更接近特定客户的要求,或满足不同地区的法律或其他要求。 可用区 一个可用区(AZ)是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
查询数据集同步任务的状态 功能介绍 查询数据集同步任务的状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
挂载成功后,可以在Notebook实例详情页查看到挂载结果。 图2 挂载成功 方式2:API模式 动态挂载API接口已发布至华北-北京四和华东-上海一站点。请参考JupyterLab主页介绍、在JupyterLab中新建ipynb文件,新建一个ipynb文件然后执行脚本。 挂载脚本代码
使用ModelArts Standard自定义算法实现手写数字识别 本文为用户提供如何将本地的自定义算法通过简单的代码适配,实现在ModelArts上进行模型训练与部署的全流程指导。 场景描述 本案例用于指导用户使用PyTorch1.8实现手写数字图像识别,示例采用的数据集为MNIST官方数据集。
在ModelArts Studio大模型即服务平台的“模型广场”中选择大模型模板后,需要先创建自定义大模型,才能进行模型训练和推理,才能获得更适合特定领域或任务的大语言模型。 在MaaS中创建模型 3 模型调优 完成数据集的准备后,可以在ModelArts Studio大模型即服务平台开始模型
在ModelArts中如何将图片划分到验证集或者训练集? 目前只能指定切分比例,随机将样本划分到训练集或者验证集,不支持指定。 切分比例的指定: 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。
实例规格切换需要该规格所在的集群有其他规格才可以执行,当前上线的部分规格所在集群无其他规格,切换的时候会显示为空,所以不可进行切换,如北京四、上海一的GPU: 1*Tnt004(16GB)|CPU: 8核 32GB规格。 修改Notebook SSH远程连接配置 ModelArts允
com/modelarts/?region=cn-north-1#/dataLabel?tabActive=labelConsole 华东-上海一 https://console.huaweicloud.com/modelarts/?region=cn-east-3#/dataLabel
Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力,负责建立和管理机器学习训练工作负载所需的基础设施,减轻用户的负担,为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练,用户可以专注于开发、训练和微调模型。
权限管理”页面中进行委托授权。具体操作参考使用委托授权(推荐)。 数据标注功能仅在以下Region支持:华北-北京四、华北-北京一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-新加坡、亚太-曼谷、亚太-雅加达、拉美-圣地亚哥、拉美-圣保罗一、拉美-墨西哥城二。 创建数据集
Cluster资源池如何进行NCCl Test? ModelArts提供AI诊断功能,用户可以通过NCCl Test,测试节点GPU状态,并且测试多个节点间的通信速度。 操作步骤 单击资源池名称,进入资源池详情。 单击左侧“AI组件管理 > AI诊断”。 单击“诊断”,选择“日志上传路径”和NCCL
使用ModelArts Standard自动学习实现口罩检测 该案例是使用华为云一站式AI开发平台ModelArts的新版“自动学习”功能,基于华为云AI开发者社区AI Gallery中的数据集资产,让零AI基础的开发者完成“物体检测”的AI模型的训练和部署。依据开发者提供的标注
在ModelArts上训练模型如何配置输入输出数据? ModelArts支持用户上传自定义算法创建训练作业。上传自定义算法前,请完成创建算法并上传至OBS桶。创建算法请参考开发用于预置框架训练的代码。创建训练作业请参考创建训练作业指导。 解析输入路径参数、输出路径参数 运行在Mo
使用ModelArts PyCharm插件调试训练ResNet50图像分类模型 本案例介绍如何将本地开发好的MindSpore模型代码,通过PyCharm ToolKit连接到ModelArts进行云上调试和训练。 开始使用样例前,请仔细阅读准备工作罗列的要求,提前完成准备工作。本案例的步骤如下所示:
训练作业日志中提示“No such file or directory” 问题现象 训练作业运行失败,日志中提示“No such file or directory”。 例如:找不到训练输入的数据路径时,会提示“No such file or directory”。 例如:找不到训练启动文件时,也会提示“No