检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
txt”规范如下。 一行一个标签: flower book ... 上传OBS操作步骤: 执行如下操作,将数据上传到OBS中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,
减少线程数。 排查办法 根据错误信息判断,报错原因来源于用户代码。 您可以通过以下两种方式排查: 线上环境调试代码(仅适用于非分布式代码) 在开发环境(notebook)申请相同规格的开发环境实例。 在notebook调试用户代码,并找出问题的代码段。 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。,
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
必须小于200列,数据总大小不能超过100MB。 上传OBS操作步骤: 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,
arts/code/main.py”。 超参 当资源规格为单机多卡时,需要指定超参world_size和rank。 当资源规格为多机时(即实例数大于 1),无需设置超参world_size和rank,超参会由平台自动注入。 方式二:使用自定义镜像功能,通过torch.distributed
ModelArts服务软件开发工具包(ModelArts SDK)是对ModelArts服务提供的REST API进行的Python封装,以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts SDK目
”作为存储位置,会创建云硬盘EVS。 磁盘规格默认5GB,从Notebook实例创建成功开始,直至实例删除成功,磁盘每GB按照规定费用收费。 云硬盘EVS会在创建Notebook实例时自动购买,无需用户单独创建。 父主题: 专属资源池训练
请排查安装包的版本,可能存在包冲突的问题。 排查办法 根据错误信息判断,报错原因来源于用户代码。 您可以通过以下两种方式排查: 线上环境调试代码(仅适用于非分布式代码) 在开发环境(notebook)申请相同规格的开发环境实例。 在notebook调试用户代码,并找出问题的代码段。 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。,
object JupyterLab连接信息。 tensorboard Tensorboard object Tensorboard连接信息。 mindstudio_insight MindStudioInsight object MindStudio Insight连接信息。 表57 SSHResp
ModelArts Standard资源监控 ModelArts Standard资源监控概述 在ModelArts控制台查看监控指标 在AOM控制台查看ModelArts所有监控指标 使用Grafana查看AOM中的监控指标
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码:200 表4 响应Body参数
ModelArts Standard资源管理 Standard资源池功能介绍 创建Standard专属资源池 管理Standard专属资源池
使用CTS审计ModelArts服务 ModelArts支持云审计的关键操作 查看ModelArts相关审计日志
使用ModelArts Standard训练模型 模型训练使用流程 准备模型训练代码 准备模型训练镜像 创建调试训练作业 创建算法 创建生产训练作业 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化(AutoSearch) 模型训练高可靠性 管理模型训练作业
表1 路径参数 参数 是否必选 参数类型 描述 id 是 String Notebook实例ID,可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 状态码:200 表2
/bucketName/data-cat/cat.jpg”。 如您将已标注好的图片上传至OBS桶,请按照如下规范上传。 物体检测数据集要求用户将标注对象和标注文件存储在同一目录,并且一一对应。例如标注对象文件名为“IMG_20180919_114745.jpg”,那么标注文件的文
object JupyterLab连接信息。 tensorboard Tensorboard object Tensorboard连接信息。 mindstudio_insight MindStudioInsight object MindStudio Insight连接信息。 表56 SSHResp
假设用户于2023年4月1日创建了一个Workflow实例,并在10:00:00运行实例进行模型训练,在11:00:00进行服务部署,并在11:30:00停止运行。同时,使用专属资源池运行实例。按照存储费用结算,那么运行这个Workflow实例的费用如下: 存储费用:Workflow实例的数据通过对象存储服务(
用户自定义镜像自建的conda环境会查到一些额外的包,影响用户程序,如何解决? 问题现象 用户的自定义镜像运行在Notebook里会查到一些额外的pip包。如下图所示,左侧为自定义镜像运行在本地环境,右侧为运行在Notebook里。 可能原因 Notebook自带moxing、m
AI Gallery(旧版) AI Gallery简介 免费资产和商用资产 入驻AI Gallery 我的Gallery介绍 订阅使用 发布分享 参加活动 合作伙伴 需求广场