检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ma2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构： obs://<bucket_name>/training_data |── train-00000-
在过往性能调优场景中，如果性能profiling数据在OBS上，通常需要将TB或者GB级别的profiling数据下载至本地后才能使用msprof-analyze进行分析，大量数据的下载耗时以及对本地大规格存储盘的要求容易导致分析受阻。为了能自动串联高性能挂载OBS至ModelArts环境和mspr
表示张量并行。 PP 8 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP 1 表示context并行，默认为1。应用于训练长序列文本的模型。若训练时SEQ_LEN超过32768长度，则推荐增加CP值（CP ≥ 2）。对应训练参数 context-parallel-size
ma2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构： obs://<bucket_name>/training_data |── train-00000-
path String 工作路径。可选值如下： 如果type是OBS，source为OBS路径。 如果type是DATASET，source为数据集ID。 type String 工作路径的类型。可选值如下： OBS：OBS路径 DATASET：数据集 version_id String
PyTorch1.0引擎提示“RuntimeError: std:exception” 问题现象 在使用PyTorch1.0镜像时，必现如下报错： “RuntimeError: std:exception” 原因分析 PyTorch1.0镜像中的libmkldnn软连接与原生torch的冲突，具体可参看文档。
果能正常打开页面，表示当前用户具备DEW的操作权限。 验证OBS权限。 在左上角的服务列表中，选择OBS服务，进入OBS管理控制台。 在OBS管理控制台，单击右上角的“创建桶”，如果能正常打开页面，表示当前用户具备OBS的操作权限。 验证SWR权限。 在左上角的服务列表中，选择SWR服务，进入SWR管理控制台。
此接口为异步接口，作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI POST /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/stop 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明
日志提示“Please upgrade numpy to >= xxx to use this pandas version” 问题现象 在安装其他包的时候，有依赖冲突，对numpy库有其他要求，但是发现numpy卸载不了。出现如下类似错误： your numpy version
可视化作业输出文件OBS路径。 status Int 可视化作业的运行状态，详细作业状态列表请参见作业状态参考。 请求示例 如下以查询作业ID为10的可视化作业为例。 GET https://endpoint/v1/{project_id}/visualization-jobs/10 响应示例
更新可视化作业描述 功能介绍 更新可视化作业的描述。 URI PUT /v1/{project_id}/visualization-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String 用户项目
通过查询可视化作业列表与查询可视化作业详情接口获取。 URI POST /v1/{project_id}/visualization-jobs/{job_id}/restart 参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String
查询第51-100条记录 print(dataset_list) 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法请参见Session鉴权。 dataset_type 否 Integer 根据数据集类型查询数据集列表，默认为空。可选值如下：
rts数据集或者OBS目录中的文件创建训练作业。如果选择通过OBS目录的方式创建训练作业，用户需要将数据集中准备好的数据导出到OBS中。 导出数据到OBS 在数据集详情页面中，选中需要导出的数据或筛选出需要导出的数据，然后单击右上角“导出”。 导出方式选择“OBS”，填写相关信息，然后单击“确定”，开始执行导出操作。
Ascend训练场景下，当训练进程退出后，ModelArts会上传训练容器中的日志文件至“作业日志路径” 参数设置的OBS目录中。在作业详情页可以获取“作业日志路径”，单击OBS地址可以直接跳转到OBS控制台查看日志。 图3 日志存放路径 您可以通过ma-pre-start脚本修改默认环境变量配置。
此接口为异步接口，作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI DELETE /v1/{project_id}/training-jobs/{job_id}/versions/{version_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id
查询可视化作业列表与查询可视化作业详情接口获取。 URI DELETE /v1/{project_id}/visualization-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String 用户项
path String 工作路径。可选值如下： 如果type是OBS，source为OBS路径。 如果type是DATASET，source为数据集ID。 type String 工作路径的类型。可选值如下： OBS：OBS路径 DATASET：数据集 version_id String
keep_checkpoint_max=35) # append_info=[{"epoch_num": cur_epoch_num}],mindspore1.3及以后版本会支持append_info参数，保存当前时刻的epoch值。 # 保存网络参数，详细请参见mindspore
练作业才有该参数。 “代码目录” 训练作业代码目录所在的OBS路径。 您可以单击代码目录后的“编辑代码”，在“OBS在线编辑”对话框中实时编辑训练脚本代码。当训练作业状态为“等待中”、“创建中”和“运行中”时，不支持“OBS在线编辑”功能。 说明： 当您使用订阅算法创建训练作业时，不支持该参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
