正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题描述 从OBS中或者从容器镜像中导入模型时,开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。
URI PUT /v1/{project_id}/training-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
模板输入 存储在OBS上的TensorFlow模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。 对应的输入输出模式 预置图像处理模式,不可覆盖,即创建模型时不支持选择其他输入输出模式。
编写完成后,需将此文件上传至OBS指定目录下。 使用容器化部署,导入的元模型有大小限制,详情请参见导入AI应用对于镜像大小限制。 前提条件 确保您使用的OBS目录与ModelArts在同一区域。
用户AK-SK认证模式 本模式支持OBS管理、训练管理、模型管理、服务管理模块的鉴权。
URI DELETE /v1/{project_id}/training-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
您可以在训练作业启动文件的脚本中,通过如下方式获取复制和被复制文件夹大小,根据结果判断是否复制完毕: import moxing as mox mox.file.get_size('obs://bucket_name/obs_file',recursive=True) 其中,“get_size
type String 工作流存储的类型,当前只支持obs。 path String 统一存储的根路径,当前只支持OBS路径。 表17 WorkflowAsset 参数 参数类型 描述 name String 资产名称。
1 2 3 4 import moxing as mox mox.file.make_dirs('obs://modelarts-test08/moxing/test01') mox.file.exists('obs://modelarts-test08/moxing/test01
通过训练脚本,可以使用模板一格式的jobstart_hccl.json文件,在等待status字段的值等于completed之后,将模板二格式jobstart_hccl.json文件转换为模板一格式的jobstart_hccl.json文件。
-3.1.2 INFO:root:Using MoXing-v1.13.0-de803ac9 INFO:root:Using OBS-Python-SDK-3.1.2 原因分析 Pytorch通过spawn模式创建了多个进程,每个进程会调用多进程方式使用Mox下载数据。
如果type为“obs”类型,该值必须填写,该值需为有效的OBS桶路径,且以“/”结束。不能指定为OBS桶的根目录,需指定为OBS桶下的具体目录。 如果type为“obsfs”类型,该值需为有效的OBS并行文件系统的桶名(当前CCE不支持挂载子目录)。
-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-User-View.json 任务视图 https://cnnorth4-modelarts-sdk.obs.cn-north
将训练好的模型下载至本地后,上传至目标账号对应区域的OBS桶中。 通过对模型存储的目标文件夹或者目标桶配置策略,授权其他账号进行读写操作。详请参见配置高级桶策略。 父主题: 查看作业详情
代码目录 选择OBS桶中训练code文件夹所在路径,例如“obs://test-modelarts/code/”。
枚举值如下: obs:OBS model:AI应用元模型 config Map<String,Object> 输出配置。 表9 WorkflowErrorInfo 参数 参数类型 描述 error_code String 错误码。
枚举值如下: dataset:数据集 obs:OBS data_selector:数据选择 data 否 Object 输入项数据。 value 否 Object 输入项的值。
可选值:“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径,不可与dataset_id/dataset_version同时出现。
在弹出的对话框中,根据实际情况选择是否勾选“同时删除OBS源文件”,确认信息无误后,单击“确定”完成图片删除操作。 其中,被选中的图片,其左上角将显示为勾选状态。如果当前页面无选中图片时,按钮为灰色,无法执行删除操作。 图1 删除数据集图片 父主题: Standard数据管理
枚举值如下: dataset:数据集 obs:OBS data_selector:数据选择 data 否 Object 输入项数据。 value 否 Object 输入项的值。