检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已准备好用于生成专属模型的模型权重文件,并存放于OBS桶中,OBS桶必须和MaaS服务在同一个Region下。
预置脚本测试整体流程 一般使用run.sh封装训练外的文件复制工作(数据、代码:OBS-->容器,输出结果:容器-->OBS),run.sh的构建方法参考run.sh脚本测试ModelArts训练整体流程。 如果预置脚本调用结果不符合预期,可以在容器实例中进行修改和迭代。
进入OBS,删除本训练作业使用的OBS桶及文件。 查找训练作业 当用户使用IAM账号登录时,训练作业列表会显示IAM账号下所有训练作业。ModelArts提供查找训练作业功能帮助用户快速查找训练作业。
import_path String 导入的OBS路径或manifest路径。 导入manifest时,path必须精确到具体manifest文件。 导入为目录时,目前仅支持数据集类型为图片分类、物体检测、文本分类、声音分类。 import_type Integer 导入方式。
挂载时,后台自动会在Notebook容器“的/data/”目录下创建该文件夹,用来挂载OBS文件系统。 选择存放OBS并行文件系统下的文件夹,单击“确定”。 挂载成功后,可以在Notebook实例详情页查看到挂载结果。 代码调试。
import_path String 导入的OBS路径或manifest路径。 导入manifest时,path必须精确到具体manifest文件。 导入为目录时,目前仅支持数据集类型为图片分类、物体检测、文本分类、声音分类。 import_type Integer 导入方式。
如果使用的是OBS导入或者训练导入,则包含基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和。 如果使用的是自定义镜像导入,则包含解压后镜像和镜像下载文件的大小总和。 父主题: 导入模型
如果使用的是OBS导入或者训练导入,则包含基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和。 如果使用的是自定义镜像导入,则包含解压后镜像和镜像下载文件的大小总和。 父主题: 模型管理
-obs, --obs-path TEXT OBS path to save local built image.
以换行符作为分隔符,每行数据代表一个标注对象。 文本分类目前只支持中文。 父主题: 准备数据
本文档提供的调测代码中涉及到的OBS路径,请用户替换为自己的实际OBS路径。 本文档提供的调测代码是以PyTorch为例编写的,不同的AI框架之间,整体流程是完全相同的,只需要修改个别的参数即可。 DataParallel进行单机多卡训练的优缺点 代码简单:仅需修改一行代码。
", "EFS", "OBS" ], "vcpus" : 2 } ], "pages" : 1, "size" : 1, "total" : 1 } 状态码 状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not
立即运行后,在Notebook Jobs页签可以看到任务运行记录,右上角Reload刷新。 图3 查看定时任务运行记录 任务执行完成后会出现下载按钮,单击文件名称可以看到执行结果。
动态挂载产生的事件列表 事件名称 事件描述 事件级别 DynamicMountStorage 挂载OBS存储 重要 DynamicUnmountStorage 卸载OBS存储 重要 表7 用户侧触发的事件 事件名称 事件描述 事件级别 RefreshCredentialsFailed
在notebook中使用performance advisor插件进行性能分析,源数据选择OBS并指定profiling所在的OBS路径。
在AI Gallery中下载数据集时,不管是下载至OBS还是下载至数据集,均需设置对应的使用区域。支持的区域与ModelArts相同,包含华北-北京一、华北-北京四、华东-上一、华南-广州(以界面上实际支持的区域为准)。 父主题: AI Gallery
创建一个空数据集C,即无任何输出,其输入位置选择一个空的OBS文件夹。 在数据集C中,执行导入数据操作,将数据集A和数据集B的Manifest文件导入。 导入完成后,即将数据集A和数据集B的数据分别都合并至数据集C中。如需使用合并后的数据集,再针对数据集C执行发布操作即可。
job_start_file = "jobstart_hccl.json" # job_start_file_path 路径默认为 "/user/config/jobstart_hccl.json" job_start_file_path = rank_table_file_path.rsplit
job_start_file = "jobstart_hccl.json" # job_start_file_path 路径默认为 "/user/config/jobstart_hccl.json" job_start_file_path = rank_table_file_path.rsplit
mindspore.communication import init, get_rank, get_group_size init() rank_id = get_rank() # 仅让0号卡进行数据下载 if rank_id % 8 == 0: mox.file.copy_parallel('obs