检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建OBS桶创建的桶下创建文件夹用以存放数据，例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。
dataset_list = Dataset.list_datasets(session, offset=1, limit=50) # 查询第51-100条记录 print(dataset_list) 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 session 是 Object 会话对象
您可以在训练作业启动文件的脚本中，通过如下方式获取复制和被复制文件夹大小，根据结果判断是否复制完毕： import moxing as mox mox.file.get_size('obs://bucket_name/obs_file',recursive=True) 其中，“get_size
如果type为“obs”类型，该值必须填写，该值需为有效的OBS桶路径，且以“/”结束。不能指定为OBS桶的根目录，需指定为OBS桶下的具体目录。 如果type为“obsfs”类型，该值需为有效的OBS并行文件系统的桶名（当前CCE不支持挂载子目录）。
命令式，即通过Kubectl指令直接操作对象。
购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。
用户AK-SK认证模式 本模式支持OBS管理、训练管理、模型管理、服务管理模块的鉴权。
URI DELETE /v1/{project_id}/training-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
永久日志：转存到OBS桶中的训练日志，在创建训练作业时，打开永久保存日志开关设置作业日志路径即可将日志转存至OBS路径。Ascend训练场景下，默认要求填写作业日志在OBS的存放路径，其他资源的训练场景下，永久保存日志开关需要用户手动开启。
-3.1.2 INFO:root:Using MoXing-v1.13.0-de803ac9 INFO:root:Using OBS-Python-SDK-3.1.2 原因分析 Pytorch通过spawn模式创建了多个进程，每个进程会调用多进程方式使用Mox下载数据。
表1 ModelArts支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期 cpu_usage CPU使用率 该指标用于统计ModelArts用户服务的CPU使用率。 单位：百分比。
jobs jobs结构数组 训练作业的属性列表，具体请参见表4。 quotas Integer 训练作业的运行数量上限。 表4 jobs属性列表 参数 参数类型 说明 job_id Long 训练作业的ID。 job_name String 训练作业的名称。
可选值如下： 如果type是OBS，source为OBS路径。 如果type是DATASET，source为数据集ID。 type String 工作路径的类型。可选值如下： OBS：OBS路径 DATASET：数据集 version_id String 数据集的版本。
枚举值如下： dataset：数据集 obs：OBS data_selector：数据选择 data 否 Object 输入项数据。 value 否 Object 输入项的值。
图11 创建训练任务的数据来源 数据导出 ModelArts训练管理模块支持通过ModelArts数据集或者OBS目录中的文件创建训练作业。如果选择通过OBS目录的方式创建训练任务，用户需要将数据集中准备好的数据导出到OBS中。
URI DELETE /v1/{project_id}/training-jobs/{job_id}/versions/{version_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。
“obs”：表示使用OBS的数据。 “dataset”：表示使用数据集的数据。 data_url String OBS的桶路径。 表7 model_metric_list属性列表 参数 参数类型 说明 metric JSON Array 训练作业的模型单个分类测评参数。
URI DELETE /v1/{project_id}/visualization-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
将训练好的模型下载至本地后，上传至目标账号对应区域的OBS桶中。 通过对模型存储的目标文件夹或者目标桶配置策略，授权其他账号进行读写操作。详请参见配置高级桶策略。 父主题： 查看作业详情
type 否 String 工作流存储的类型，当前只支持obs。 path 否 String 统一存储的根路径，当前只支持OBS路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
