检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
${model_name} # 模型名称 |── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune #
个时间完成的，然后有的节点没有复制完，其他节点进行torch.distributed.init_process_group()导致超时。 处理方法 如果是多个节点复制不同步，并且没有barrier的话导致的超时，可以在复制数据之前，先进行torch.distributed.ini
服务预测失败 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，预测失败。 原因分析及处理方法 服务预测需要经过客户端、外部网络、APIG、Dispatch、模型服务多个环节。每个环节出现都会导致服务预测失败。 图1 推理服务流程图 出现APIG.XX
3551：数据输入或者输出的obs目录不存在 ModelArts.3567：使用的数据输入或者输出obs目录存在，但是当前账号无权限访问 处理方法 ModelArts.3551：到obs检查输入数据目录是否存在，如果不存在，请按照实际需要创建obs目录；如果检查发现目录存在，但依然报同样的错，可以提工单申请技术支持
45CAA1A71019C9D0 retry:0 原因分析 出现该问题的可能原因如下: OBS服务的权限出现问题，导致无法正常读取数据 处理方法 请检查OBS权限配置，如未解决问题可参考OBS文档的已配置OBS权限，仍然无法访问OBS（403 AccessDenied）。 建议与总结
输入有效的GitHub开源仓库地址 Clone仓库的过程中会将进度展示出来。 图4 Clone仓库的过程 Clone仓库成功。 图5 Clone仓库成功 异常处理 Clone仓库失败。可能是网络原因问题。可以在JupyterLab的Terminal中通过执行git clone https://github
ices_out_cuda_frame failed with error code 0” 训练作业失败，返回错误码139 训练作业失败，如何使用开发环境调试训练代码？ 日志提示“ '(slice(0, 13184, None), slice(None, None, None))'
复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config.yaml所在路径，并执行以下命令。
无 响应参数 状态码：200 表3 响应Body参数 参数 参数类型 描述 arch String 该镜像所支持处理器架构类型。枚举值如下： X86_64：x86处理器架构。 AARCH64：ARM体系架构。 create_at Long 镜像创建的时间，UTC毫秒。 description
0：普通集群 1：安全集群 cluster_name String MRS集群名称。可登录MRS控制台查看。 database_name String 导入表格数据集，数据库名字。 input String 表格数据集，HDFS路径。例如/datasets/demo。 ip String
复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config.yaml所在路径，并执行以下命令。
在开发环境（notebook）申请相同规格的开发环境实例。 在notebook调试用户代码，并找出问题的代码段。 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。， 通过训练日志排查问题 通过日志判断出问题的代码范围。 修改代码，在问题代码段添加打印，输出更详细的日志信息。 再次运行作业，判断出问题的代码段。
了错误。 用户代码问题，出现了内存越界、非法访问内存空间的情况。 未知系统问题导致，建议先尝试重建作业，重建后仍然失败，建议提工单定位。 处理方法 如果存在之前能跑通，什么都没修改，过了一阵跑不通的情况，先去排查跑通和跑不通的日志是否存在pip源更新了依赖包，如下图，安装之前跑通的老版本即可。
无 响应参数 状态码：200 表2 响应Body参数 参数 参数类型 描述 arch String 该镜像所支持处理器架构类型。枚举值如下： X86_64：x86处理器架构。 AARCH64：ARM体系架构。 create_at Long 镜像创建的时间，UTC毫秒。 description
复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config.yaml所在路径，并执行以下命令。
复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config.yaml所在路径，并执行以下命令。
失败。 重复打印日志，该日志表示正在读取远端存在的文件，当文件列表读取完成以后，开始下载数据。如果文件比较多，那么该过程会消耗较长时间。 处理方法 在创建训练作业时，数据可以保存到OBS上。不建议使用TensorFlow、MXNet、PyTorch的OBS接口直接从OBS上读取数据。
用户选择了1/2/4卡这些规格的作业，然后设置了CUDA_VISIBLE_DEVICES=‘1’这种类似固定的卡ID号，与实际选择的卡ID不匹配。 处理方法 尽量代码里不要去修改CUDA_VISIBLE_DEVICES变量，用系统默认里面自带的。 如果必须指定卡ID，需要注意1/2/4规格
re-initialize CUDA in forked subprocess 原因分析 出现该问题的可能原因如下： multiprocessing启动方式有误。 处理方法 可以参考官方文档，如下： """run.py:""" #!/usr/bin/env python import os import torch
主文件：no such file or directory。 原因分析 根据报错提示可以判断是运行命令的启动文件目录不正确导致运行失败。 处理方法 需要排查执行命令的启动文件目录是否正确，具体操作如下： 在ModelArts管理控制台，使用训练的自定义镜像创建训练作业时，“创建方
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
