检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行训练任务(推荐) 新的训练方式将统一管理训练日志、训练结果和训练配置,使用yaml配置文件方便用户根据自己实际需求进行修改。推荐用户使用该方式进行训练。 权重文件支持以下组合方式,用户根据自己实际要求选择: 训练stage 不加载权重 增量训练:加载权重,不加载优化器(默认开启)
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据
如果您开发算法时使用的框架并不是常用框架,您可以将算法构建为一个自定义镜像,通过自定义镜像创建训练作业。 使用已有算法创建训练作业 算法管理中,管理了用户自己创建的算法和AI Gallery订阅的算法,您可以使用算法管理中的算法,快速创建训练作业,构建模型。 使用订阅算法创建训练作业 AI Gallery中提供了现成的算法,供用户使用,您可以直接订阅AI
obs下的数据时,需要用户委托权限,没有创建委托,就没有权限使用其他用户obs中的数据。 登录ModelArts控制台,管理控制台,在左侧导航栏中选择“权限管理”,单击“查看权限”,检查是否配置了obs的委托权限。 图1 查看权限 如果检查后已经存在委托,但是仍然无法访问,可以提工单寻求技术支持。
处理方法 请您根据报错原因排查创建训练作业时指定的代码目录,即OBS桶的路径是否正确。有两种方法判断是否存在。 使用当前账户登录OBS管理控制台,去查找对应的OBS桶、文件夹、文件是否存在。 通过接口判断路径是否存在。在代码中执行如下命令,检查路径是否存在。 import moxing
如何获取访问密钥? 获取访问密钥 登录华为云,在页面右上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的账户名下方,单击“我的凭证”,进入“我的凭证”页面。 图2 我的凭证 在“我的凭证”页面,选择“访问密钥>新增访问密钥”,如图3所示。 图3 单击新增访问密钥
文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。 文本分类目前只支持中文。 数据上传至OBS 在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。 OBS上传文件的规范: 如不需要提前上传训练数据,请创建一个空文件夹用于存放工程后期生成的文件。 如需要提前
开发环境(旧版) 创建开发环境实例 查询开发环境实例列表 查询开发环境实例详情 更新开发环境实例信息 删除开发环境实例 管理开发环境实例 父主题: 历史API
使用Workflow实现低代码AI开发 什么是Workflow 运行第一条Workflow 管理Workflow 开发第一条Workflow 开发Workflow命令参考
行自定义授权,其中模型管理依赖OBS相关权限,租户可以细化权限到具体ModelArts使用的桶。 内部资源授权 ModelArts推理当前已支持细粒度授权,租户可以根据实际的权限要求对子用户进行相应的权限配置,限制某些资源的管理,实现权限最小化。 模型管理 使用从训练或者从OBS
全部为包年/包月计费模式。不支持部分节点为按需计费,部分节点为包年/包月计费。 操作步骤 登录ModelArts管理控制台。 在ModelArts列表页,选择“资源管理 > AI专属资源池 > 弹性集群Cluster ”,在Standard资源池列表中选中目标专属资源池。在资源池详情页的右上角选择“更多
物体检测:用于训练的图片,至少有1种以上的分类(即1种以上的标签),每种分类的图片数不少于5张。 预测分析:由于预测分析任务的数据集不在数据管理中进行统一管理,即使数据不满足要求,不在此环节出现故障信息。 声音分类:用于训练的音频,至少有2种以上的分类(即2种以上的标签),每种分类的音频数不少于5个。
用户的自定义镜像构建完成后,需要在ModelArts“镜像管理”页面注册后,方可在Notebook中使用。 SWR镜像类型设置为“私有”时,同一账号下的子用户(IAM用户)可以注册使用。 SWR镜像类型设置为“公开”时,其他用户才可以注册使用。 进入ModelArts控制台,单击“镜像管理 > 注册镜像”,进入“注册镜像”页面。
ModelArts Standard准备工作 配置ModelArts Standard访问授权 创建并管理工作空间 创建OBS桶用于ModelArts存储数据
创建ModelArts数据校验任务 创建ModelArts数据清洗任务 创建ModelArts数据选择任务 创建ModelArts数据增强任务 管理和查看数据处理任务 父主题: 数据准备与处理
storages=[storage] ) 使用算法管理中的算法 from modelarts import workflow as wf # 构建一个OutputStorage对象,对训练输出目录做统一管理 storage = wf.data.OutputStorag
下文将介绍如何在ModelArts Standard上使用预置镜像创建Notebook实例。 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”管理页面。 在页面右上角单击“创建Notebook”,进入“创建Notebook”页面。 在“创建
创建图像分类数据集并进行标注任务 创建并完成图像分类的智能标注任务 开发环境的应用示例 以PyTorch框架创建训练作业(新版训练) 创建和修改工作空间 管理ModelArts服务的委托授权
创建调试训练作业 创建算法 创建生产训练作业 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化(AutoSearch) 模型训练高可靠性 管理模型训练作业
通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook 管理Notebook实例 使用CodeLab免费体验Notebook ModelArts CLI命令参考 在Notebook中使用Moxing命令