检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作业”，默认进入“训练作业”列表。单击“创建训练作业”进入创建训练作业页面。 在“创建训练作业”页面，填写相关参数信息，然后单击“提交”。 创建方式：选择“自定义算法”。 启动方式：选择“自定义”。
基于HTTP的推送技术，服务器可以向客户端推送事件。这种技术通常用于实现服务器向客户端推送实时数据，例如聊天应用、实时新闻更新等。 SSE主要解决了客户端与服务器之间的单向实时通信需求（例如ChatGPT回答的流式输出），相较于WebSocket（双向实时），它更加轻量级且易于实现。
训练作业进程被kill 问题现象 用户进程被Kill表示用户进程因外部因素被Kill或者中断，表现为日志中断。 原因分析 CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况
删除训练作业 功能介绍 删除训练作业。 此接口为异步接口，作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI DELETE /v1/{project_id}/training-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型
找不到启动文件，可能是训练作业启动命令的路径填写不正确，参考使用自定义镜像创建训练作业时，检查启动文件路径排查解决。 可能为多个进程或者worker读写同一个文件。如果使用了SFS，则考虑是否多个节点同时写同一个文件。分析代码中是否存在多进程写同一文件的情况。建议避免作业中存在多进程，多节点并发读写同一文件的情况。
训练作业日志中提示“No module named .*” 用户请按照以下思路进行逐步排查： 检查依赖包是否存在 检查依赖包路径是否能被识别 检查训练作业使用的资源规格是否正确 建议与总结 检查依赖包是否存在 如果依赖包不存在，您可以使用以下两种方式完成依赖包的安装。 方式一（推
调用成功时无此字段。 job_id Long 可视化作业的ID。 job_name String 可视化作业的名称 status Integer 可视化作业的运行状态，详细作业状态列表请参见作业状态参考。 create_time Long 可视化作业的创建时间，时间戳格式。 service_url
重启可视化作业 功能介绍 重启可视化作业。此接口为异步接口，作业状态请通过查询可视化作业列表与查询可视化作业详情接口获取。 URI POST /v1/{project_id}/visualization-jobs/{job_id}/restart 参数说明如表1所示。 表1 参数说明
训练作业进程异常退出 问题现象 训练作业运行失败，日志中出现如下类似报错： [Modelarts Service Log]Training end with return code: 137 原因分析 日志显示训练进程的退出码为137。训练进程表示用户的代码启动后的进程，所以这里
OOM导致训练作业失败 问题现象 因为OOM导致的训练作业失败，会有如下几种现象。 错误码返回137，如下图所示。 Modelarts Service Log Trainina end with return code: 137 Modelarts Service Log]handle
专属资源池创建训练作业 创建训练作业界面无云存储名称和挂载路径排查思路 父主题： 训练作业
停止训练作业版本 功能介绍 停止训练作业。 此接口为异步接口，作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI POST /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/stop 参数说明如表1所示。
查询训练作业日志 功能介绍 按行来查询训练作业日志详细信息。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/aom-log 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型
duration Long 可视化作业的运行时长，单位为毫秒。 create_time Long 可视化作业的创建时间，时间戳格式。 train_url String 可视化作业输出文件OBS路径。 status Int 可视化作业的运行状态，详细作业状态列表请参见作业状态参考。 请求示例
更新可视化作业描述 功能介绍 更新可视化作业的描述。 URI PUT /v1/{project_id}/visualization-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String 用户项目
Long 训练作业的ID。 job_name String 训练作业的名称 status Int 训练作业的运行状态，详细作业状态列表请查看作业状态参考。 create_time Long 训练作业的创建时间，时间戳格式。 version_id Long 训练作业的版本ID。 resource_id
可能会引入不收敛情况；最后，则是由计算过程导致的模型收敛问题。 模型精度（以模型评测结果衡量的各种指标，广义的Model Accuracy），是多种因素共同作用的结果，出现问题的主要表现是训练过程的Loss不收敛或者收敛出问题或者loss收敛却评测集上表现不佳。而计算的数值精度问题，（Computational
日志出现ECC错误，导致训练作业失败 问题现象 训练作业日志运行出现如下报错：RuntimeError: CUDA error: uncorrectable ECC error encountered 原因分析 由于ECC错误，导致作业运行失败。 处理方法 当ECC错误且计数超过
超过最大递归深度导致训练作业失败 问题现象 ModelArts训练作业报错： RuntimeError: maximum recursion depth exceeded in __instancecheck__ 原因分析 递归深度超过了Python默认的递归深度，导致训练失败。
停止可视化作业 功能介绍 停止可视化作业。此接口为异步接口，作业状态请通过查询可视化作业列表与查询可视化作业详情接口获取。 URI POST /v1/{project_id}/visualization-jobs/{job_id}/stop 参数说明如表1所示。 表1 参数说明 参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
