检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码目录 选择OBS桶中训练code文件夹所在路径,例如“obs://test-modelarts/code/”。
-3.1.2 INFO:root:Using MoXing-v1.13.0-de803ac9 INFO:root:Using OBS-Python-SDK-3.1.2 原因分析 Pytorch通过spawn模式创建了多个进程,每个进程会调用多进程方式使用Mox下载数据。
可选值为“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径,不可与dataset_id/dataset_version同时出现。
准备镜像环境 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest
单击Launcher页面的“Performance Advisor”图标,界面将如下图所示 图3 Performance Adviso主页面 提交性能诊断任务 如果您的NPU性能数据存放在OBS上,Source选择OBS,Path输入OBS地址,格式如obs://bucket1/profiling_dir1
在弹出的对话框中,根据实际情况选择是否勾选“同时删除OBS源文件”,确认信息无误后,单击“确定”完成图片删除操作。 其中,被选中的图片,其左上角将显示为勾选状态。如果当前页面无选中图片时,按钮为灰色,无法执行删除操作。 图1 删除数据集图片 父主题: Standard数据管理
可选值:“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径,不可与dataset_id/dataset_version同时出现。
可选值有“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径,不可与dataset_id/dataset_version同时出现。
图3 添加本地图片 图4 同步OBS图片数据 添加数据:您可以将本地图片快速添加到ModelArts,同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”,根据弹出的对话框的引导,输入正确的数据并添加。
已在OBS创建至少1个空的文件夹,用于存储训练输出的内容。 由于训练作业运行需消耗资源,确保账户未欠费。 确保您使用的OBS目录与ModelArts在同一区域。 创建算法 进入ModelArts控制台,参考创建算法操作指导,创建自定义算法。
在过往性能调优场景中,如果性能profiling数据在OBS上,通常需要将TB或者GB级别的profiling数据下载至本地后才能使用msprof-analyze进行分析,大量数据的下载耗时以及对本地大规格存储盘的要求容易导致分析受阻。
(普通OBS桶) 包月购买。 (HPC型500G) 免费。 免费。 包月购买。 免费。 包月购买。
自定义镜像如果需要在“在线服务”模块使用OBS外部存储挂载功能,需要新建一个OBS挂载专属目录如“/obs-mount/”,避免选择存量目录覆盖已有文件。OBS挂载仅开放对挂载目录文件新增、查看、修改功能,如果需要删除文件请到OBS并行文件系统中手动删除。
准备镜像 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest
举例:对一个已经完成的训练作业(假设训练了50个epochs),想要训练更多的epochs(追加30个epochs),假设上一个训练作业的输出目录为“obs://my_bucket/train_url”,则设置参数“checkpoint_url=obs://my_bucket/train_url
"preview": "https://test.obs.{ma_endpoint}.com:443/DATASETS/input/153210866_03cc9f2f36.jpg?......"
例如,“代码目录”对应的OBS路径下,包含模型文件,同时还存在“pip-requirements.txt”文件。“代码目录”的结构如下所示: |---模型启动文件所在OBS文件夹 |---model.py #模型启动文件。
此位置为OBS路径,格式为“/桶名称/文件路径”。例如:“/obs-bucket”。 work_path_type Integer 数据集输出路径类型。默认值为0,表示OBS桶。
准备镜像 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest
可选值如下: obs:OBS桶(默认值) dws:GaussDB(DWS)服务 dli:DLI服务 rds:RDS服务 mrs:MRS服务 inference:推理服务 import_path 是 String 导入的OBS路径或manifest路径。