检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cluster”页面。 您可以通过单击“购买AI专属集群”右侧的“操作记录”,查看当前处于失败状态的资源池信息。 图1 创建失败资源池信息 鼠标悬停在“状态”列的上,即可看到该操作失败的具体原因。 失败的记录默认按照操作的申请时间排序,最多显示500条并保留3天。 父主题: 资源池
解决方法 检查实例是否运行。 请前往ModelArts控制台查看实例是否处于运行状态,如果实例已停止,请执行启动操作,如果实例处于其他状态比如“错误”,请尝试先执行停止然后执行启动操作。待实例变为“运行中”后,再次执行远程连接。 执行如下命令排查本地网络是否可以访问。 curl -kv
下载代码目录失败 问题现象 训练作业运行时下载失败,出现如下报错,请参见图1: ERROR:modelarts-downloader.py: Get object key failed: 'Contents' 图1 获取内容失败 原因分析 在创建训练作业时指定的代码目录不存在导致训练失败。
导入数据集失败 导入数据集失败可能原因为OBS桶类型选择错误,请您选择标准存储类型的桶导入。 父主题: Standard数据管理
模型发布任务提交失败 出现此问题,一般是因为后台服务故障导致的,建议稍等片刻,然后重新创建训练作业。如果重试超过3次仍无法解决,请联系华为云技术支持。 父主题: 模型发布
为什么通过Manifest文件导入失败? 问题现象 针对已发布的数据集,使用此数据集的Manifest文件,重新导入,此时出现导入失败的错误。 原因分析 针对已发布的数据集,其对应的OBS目录下,发生了数据变化,如删除图片,导致此Manifest文件与当前OBS目录下的数据情况不
IEF节点边缘服务部署失败 问题现象 部署边缘服务时,出现“异常”状态。 原因分析1 部署边缘服务时,使用到IEF纳管的边缘节点,就需要用户给ModelArts的委托赋予Tenant Administrator权限,否则将无法成功部署边缘服务。具体可参见IEF的权限说明。 处理方法1
OOM导致训练作业失败 问题现象 因为OOM导致的训练作业失败,会有如下几种现象。 错误码返回137,如下图所示。 Modelarts Service Log Trainina end with return code: 137 Modelarts Service Log]handle
服务预测失败,报错APIG.XXXX 请求在APIG(API网关)出现问题被拦截,报错APIG.XXXX。 常见报错: APIG.0101 预测地址错误 APIG.0201 请求体内容过大 APIG.0301 鉴权失败 APIG.1009 AppKey和AppSecret不匹配
在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 问题现象 在线服务启动后,当在线服务进入到“运行中”状态后,进行预测,预测请求发出后,收到的响应不符合预期,无法判断是不是模型的问题导致的不符合预期。 原因分析 在线服务启动后,ModelArts提供两种方式的预测:
Code连接开发环境失败故障处理 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 VS Code连接开发环境失败时的排查方法 远程连接出现弹窗报错:Could
自动学习项目不同导致的失败原因可能不同。 图像识别训练失败请检查是否存在损坏图片,如有请进行替换或删除。 物体检测训练失败请检查数据集标注的方式是否正确,目前自动学习仅支持矩形标注。 预测分析训练失败请检查标签列的选取。标签列目前支持离散和连续型数据,只能选择一列。 声音分类训练失败请检查音频格式是否为16bit的WAV格式。
配置参见网络规划。 账号冻结导致创建失败? 查看资源池失败报错信息,存在"frozen deposit fail",表示账号冻结导致资源创建失败。检查账号状态和资源欠费情况,账号解冻后重新购买资源。 订单取消导致资源创建失败? 查看资源池失败报错信息,存在"the operation
日志出现ECC错误,导致训练作业失败 问题现象 训练作业日志运行出现如下报错:RuntimeError: CUDA error: uncorrectable ECC error encountered 原因分析 由于ECC错误,导致作业运行失败。 处理方法 当ECC错误且计数超过
为什么在ModelArts数据标注平台标注数据提示标注保存失败? 问题现象 以Chrome浏览器为例,同一张图片,第一次标注时,右上角弹窗提示标注保存失败,第二次提交相同的标注结果,又提示标注成功,此问题概率性发生。“F12”打开浏览器Console,单击network查看请求列
在AI Gallery订阅商品失败怎么办? AI Gallery是在ModelArts的基础上构建的开发者生态社区,提供模型、算法、HiLens技能、数据集等内容的共享。当您订阅商品失败可参照如下方式解决: 请检查您是否完成实名认证。 账号注册成功后,您需要完成“实名认证”才可以
管理批量服务生命周期 启动服务 您可以对处于“运行完成”、“异常”和“停止”状态的服务进行启动操作,“部署中”状态的服务无法启动。启动服务,当服务处于“运行中”状态后,ModelArts将开始计费。您可以通过如下方式启动服务: 登录ModelArts管理控制台,在左侧菜单栏中选择
训练作业失败,返回错误码139 问题现象 训练作业运行失败,返回错误码139,如下图所示: [Modelarts Service Log]Training end with reeturn code: 139 INFO:root:Using MoXing-v1.17.2-c806a92f
nvidia-fabricmanager 发现nvidia-fabricmanager的服务为failed状态,尝试重新启动nvidia-fabricmanager失败,且提示以下信息: nvidia-fabricmanager.service failed because the control
管理在线服务生命周期 启动服务 您可以对处于“运行完成”、“异常”和“停止”状态的服务进行启动操作,“部署中”状态的服务无法启动。启动服务,当服务处于“运行中”状态后,ModelArts将开始计费。您可以通过如下方式启动服务: 登录ModelArts管理控制台,在左侧菜单栏中选择