检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.907版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_
Tensorflow TensorFlow存在两种接口类型,keras接口和tf接口,其训练和保存模型的代码存在差异,但是推理代码编写方式一致。 训练模型(keras接口) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
选择对应的云服务区域例如:华北-北京四,需要确保您选择的区域与您的管理控制台所在的区域一致。 进入“下载详情”页面,填写以下参数。 下载方式:ModelArts数据集。 目标区域:华北-北京四。 数据类型:系统会根据您的数据集,匹配到相应的数据类型。例如本案例使用的数据集,系统匹配为“图片”类型。
选择对应的云服务区域例如:华北-北京四,需要确保您选择的区域与您的管理控制台所在的区域一致。 进入“下载详情”页面,填写以下参数。 下载方式:ModelArts数据集。 目标区域:华北-北京四。 数据类型:系统会根据您的数据集,匹配到相应的数据类型。例如本案例使用的数据集,系统匹配为“图片”类型。
字为深度(深度可以没有,默认为3),如[100,200,3]和[100,200]均合法。 说明:只有当样本的标签列表包含物体检测标签时,此字段必选。 请求示例 分页查询团队标注任务下的样本列表 GET https://{endpoint}/v2/{project_id}/data
在超参或者环境变量中设置checkpoint和数据的挂载路径 训练存储加速的代码样例(PyTorch版reload ckpt) PyTorch模型保存有两种方式。 仅保存模型参数 state_dict = model.state_dict() torch.save(state_dict, path)
镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.909版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_
字为深度(深度可以没有,默认为3),如[100,200,3]和[100,200]均合法。 说明:只有当样本的标签列表包含物体检测标签时,此字段必选。 请求示例 分页查询样本列表 GET https://{endpoint}/v2/{project_id}/datasets/{da
字为深度(深度可以没有,默认为3),如[100,200,3]和[100,200]均合法。 说明:只有当样本的标签列表包含物体检测标签时,此字段必选。 响应参数 状态码: 200 表11 响应Body参数 参数 参数类型 描述 error_code String 操作失败的错误码。
OBS复制过程中提示“BrokenPipeError: Broken pipe” 问题现象 训练作业在使用MoXing复制数据时,日志中出现报错“BrokenPipeError: [Errno xx] Broken pipe”。 原因分析 出现该问题的可能原因如下: 在大规模分布
训练网络迁移总结 确保算法在GPU训练时,持续稳定可收敛。避免在迁移过程中排查可能的算法问题,并且要有好的对比标杆。如果是NPU上全新开发的网络,请参考PyTorch迁移精度调优排查溢出和精度问题。 理解GPU和NPU的构造以及运行的差别,有助于在迁移过程中分析问题并发挥NPU的
Gallery,分享给其他用户使用。 如何开发一条工作流请您参考入门教程开发第一条Workflow。 运行态-运行工作流 Workflow提供了可视化的工作流运行方式。使用者不需要了解工作流的内部细节,只需要关注一些简单的参数配置即可启动运行工作流。运行态的工作流来源主要为:通过开发态发布或者从gallery订阅。
--user-command String 否 自定义镜像执行命令。需为/home下的目录。 当code-dir以file://为前缀时,当前字段不生效。 --pool-id String 否 训练作业选择的资源池ID。可在ModelArts管理控制台,单击左侧“专属资源池”,在专属资源池列表中查看资源池ID。
heckpoint文件下载到训练容器的本地目录。 图1 训练输出设置 PyTorch版reload ckpt PyTorch模型保存有两种方式。 仅保存模型参数 state_dict = model.state_dict() torch.save(state_dict, path)
修改msvd_eval.sh参数 修改scripts/video/eval/msvd_eval.sh中的参数 模型存放的地方,如果根据第2步的方式保存的模型,设置如下: CKPT="llama-vid/llama-vid-7b-full-224-video-fps-1" 调用open
数据标注场景介绍 由于模型训练过程需要大量有标签的数据,因此在模型训练之前需对没有标签的数据添加标签。您可以通过创建单人标注作业或团队标注作业对数据进行手工标注,或对任务启动智能标注添加标签,快速完成对图片的标注操作,也可以对已标注图片修改或删除标签进行重新标注。 ModelArts为用户提供了标注数据的能力:
“模型训练 > 训练作业”,默认进入“训练作业”列表。 在“创建训练作业”页面,填写相关参数信息,然后单击“提交”。 创建方式:选择“自定义算法” 启动方式:选择“自定义” 镜像地址:“swr.cn-north-4.myhuaweicloud.com/deep-learning/mindspore:2
统安装错误。需要重新纳管机器,重新安装操作系统。 安装nerdctl工具。nerdctl是containerd的一个客户端命令行工具,使用方式和docker命令基本一致,可用于后续镜像构建步骤中。 # 下载 nerdctl 工具,注意使用的是1.7.6 arm64版本 wget https://github
Boolean 是否导入样本。可选值如下: true:导入样本(默认值) false:不导入样本 import_type 否 String 导入方式。可选值如下: dir:目录导入 manifest:按manifest文件导入 included_labels 否 Array of Label
镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.911版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_