检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码目录 必填,选择训练代码文件所在的OBS目录。 需要提前将代码上传至OBS桶中,目录内文件总大小要小于或等于5GB,文件数要小于或等于1000个,文件深度要小于或等于32。
主要流程如下图所示: 图1 构建与调测镜像流程 本案例适用于华为云-北京四Region。
已经准备好数据源,例如存放在OBS的“/test-obs/classify/input/cat-dog/”目录下。 已经准备好数据集的输出位置,用于存放输出的标注信息等文件,例如“/test-obs/classify/output/”。
Summary文件如果存放在OBS中,由OBS单独收费。任务完成后请及时停止Notebook实例,清理OBS数据,避免产生不必要的费用。
Summary文件数据如果存放在OBS中,由OBS单独收费。任务完成后请及时停止Notebook实例,清理OBS数据,避免产生不必要的费用。
GET https://endpoint/v1/{project_id}/training-jobs/10/versions/10/aom-log?
例如:OBS路径“obs://obs-bucket/training-test/demo-code”作为代码目录,OBS路径下的内容会被自动下载至训练容器的“${MA_JOB_DIR}/demo-code”目录中,demo-code为OBS存放代码路径的最后一级目录,用户可以根据实际修改
如果采集对象不能满足要求,可通过定制镜像或挂载的方式使用自定义配置。
同时,也需清理存储到OBS中的数据。 部署上线:模型部署为在线服务、边缘服务时,会收取费用,使用完请及时停止服务。同时,也需清理存储到OBS中的数据。
原因分析 如果使用的是OBS导入或者训练导入,则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入,则是解压后镜像和镜像下载文件的大小总和超过了限制。 处理方法 精简模型或镜像后,重新导入。 父主题: AI应用管理
调用创建ModelArts委托接口完成包含OBS、SWR、IEF等依赖服务的ModelArts委托。
路径前缀,默认为“obs://”,支持指定“s3://”。
请求示例 GET https://endpoint/v2/{project_id}/training-jobs/{training_job_id}/events?
已在OBS中创建桶和文件夹,用于存放数据集和训练输出模型。 例如:创建命名为“test-modelarts2”的桶,创建文件夹“dataset-mnist”和“mnist-output”。训练作业使用的数据已上传至OBS,且OBS与ModelArts在同一区域。
表29 Remote 参数 参数类型 描述 obs RemoteObs object 数据实际输出到OBS。 表30 RemoteObs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径。
URI PUT /v2/{project_id}/training-jobs/{training_job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
具体操作步骤如下: 上传“.sh”脚本至OBS桶,例如“.sh”所在存储位置为 “ /bucket-name/code/test.sh”。 在本地创建“.py”文件,例如“test.py”。
-obs, --obs-bucket TEXT OBS bucket for upload local file.
--code-dir String 是 训练源代码的OBS路径。 --data-url String 是 训练数据的OBS路径。 --log-url String 是 存放训练生成日志的OBS路径。
图3 运行示例 复制数据到OBS 在Notebook的在JupyterLab的服务界面,将文件yolov8_train_ascend.zip,复制到已有的OBS桶中,示例代码如下。