检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
path String 工作路径。可选值如下: 如果type是OBS,source为OBS路径。 如果type是DATASET,source为数据集ID。 type String 工作路径的类型。可选值如下: OBS:OBS路径 DATASET:数据集 version_id String
job_count_limit Integer 用户还可以创建训练作业的数量。 jobs jobs结构数组 训练作业的属性列表,具体请参见表4。 quotas Integer 训练作业的运行数量上限。 表4 jobs属性列表 参数 参数类型 说明 job_id Long 训练作业的ID。 job_name
is is a visualization job”,OBS路径为“/obs/name/”的可视化作业为例。 POST https://endpoint/v1/{project_id}/visualization-jobs { "job_name": "visualization-job"
训练数据的OBS路径和存放训练输出的OBS路径。 Data OBS Path 设置为存储训练数据的OBS路径,例如“/test-modelarts2/mnist/dataset-mnist/”,其中“test-modelarts2”为桶名称。 Training OBS Path
rts数据集或者OBS目录中的文件创建训练作业。如果选择通过OBS目录的方式创建训练作业,用户需要将数据集中准备好的数据导出到OBS中。 导出数据到OBS 在数据集详情页面中,选中需要导出的数据或筛选出需要导出的数据,然后单击右上角“导出”。 导出方式选择“OBS”,填写相关信息,然后单击“确定”,开始执行导出操作。
Ascend训练场景下,当训练进程退出后,ModelArts会上传训练容器中的日志文件至“作业日志路径” 参数设置的OBS目录中。在作业详情页可以获取“作业日志路径”,单击OBS地址可以直接跳转到OBS控制台查看日志。 图3 日志存放路径 您可以通过ma-pre-start脚本修改默认环境变量配置。
此接口为异步接口,作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI DELETE /v1/{project_id}/training-jobs/{job_id}/versions/{version_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id
String 训练作业的数据集版本ID。 type String 数据集类型。 “obs”:表示使用OBS的数据。 “dataset”:表示使用数据集的数据。 data_url String OBS的桶路径。 表7 model_metric_list属性列表 参数 参数类型 说明
查询可视化作业列表与查询可视化作业详情接口获取。 URI DELETE /v1/{project_id}/visualization-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String 用户项
在过往性能调优场景中,如果性能profiling数据在OBS上,通常需要将TB或者GB级别的profiling数据下载至本地后才能使用msprof-analyze进行分析,大量数据的下载耗时以及对本地大规格存储盘的要求容易导致分析受阻。为了能自动串联高性能挂载OBS至ModelArts环境和mspr
查询第51-100条记录 print(dataset_list) 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参见Session鉴权。 dataset_type 否 Integer 根据数据集类型查询数据集列表,默认为空。可选值如下:
下划线(_)和中划线(-),并且以英文开头的名称。 type 是 String 数据来源类型。枚举值如下: dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions 否
ma2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<bucket_name>/training_data |── train-00000-
String 数据集输出位置,用于存放输出的标注信息等文件。此位置为OBS路径,格式为“/桶名称/文件路径”。例如:“/obs-bucket”。 work_path_type Integer 数据集输出路径类型。默认值为0,表示OBS桶。 workforce_descriptor WorkforceDescriptor
数据传输周期,默认为30s。 表37 Remote 参数 参数类型 描述 obs RemoteObs object 数据实际输出到OBS。 表38 RemoteObs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径。 表39 AlgorithmEngine 参数 参数类型
Standard开发环境 软件开发的历史,就是一部降低开发者成本,提升开发体验的历史。在AI开发阶段,ModelArts也致力于提升AI开发体验,降低开发门槛。ModelArts Standard开发环境,以云原生的资源使用和开发工具链的集成,目标为不同类型AI开发、探索、教学用户,提供更好云化AI开发体验。
path String 工作路径。可选值如下: 如果type是OBS,source为OBS路径。 如果type是DATASET,source为数据集ID。 type String 工作路径的类型。可选值如下: OBS:OBS路径 DATASET:数据集 version_id String
job_count_limit Integer 用户还可以创建可视化作业的数量。 jobs jobs结构数组 可视化作业的属性列表,具体请参见表4。 quotas Integer 可视化作业的运行数量上限。 表4 jobs属性列表 参数 参数类型 说明 job_name String 可视化作业的名称。
path String 工作路径。可选值如下: 如果type是OBS,source为OBS路径。 如果type是DATASET,source为数据集ID。 type String 工作路径的类型。可选值如下: OBS:OBS路径 DATASET:数据集 version_id String
end:20240606 步骤六 编写Config.yaml文件 k8s有两种方式来管理对象: 命令式,即通过Kubectl指令直接操作对象。 声明式,通过定义资源YAML格式的文件来操作对象。 首先给出单个节点训练的config.yaml文件模板,用于配置pod。而在训练中,需