检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务时打开了“消息通知”,该功能依赖SMN委托授权,但只有训练任务运行过程中,真正需要发送消息时,系统才会“出错”,而有些错误系统会选择“忽略”,另一些错误则可能导致任务直接失败。当您做深入的“权限最小化”限制时,请确保您在ModelArts上将要执行的操作仍旧有足够的权限。 严格授权模式
found”的错误信息。 训练脚本mpi-verification.py文件内容如下: import os import socket if __name__ == '__main__': print(socket.gethostname()) # https://www
found”的错误信息。 训练脚本mpi-verification.py文件内容如下: import os import socket if __name__ == '__main__': print(socket.gethostname()) # https://www
} 状态码 状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
获取宿主机元数据。 检查环境。 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。 npu-smi info 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查docker是否安装。
-F 'images=@图片路径' -H 'X-Auth-Token:Token值' -X POST 在线服务地址 “-k”是指允许不使用证书到SSL站点。 “-F”是指上传数据的是文件,本例中参数名为“images”,这个名字可以根据具体情况变化,@后面是图片的存储路径。 “-
} 状态码 状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
"instance_count" : 1 } ] } 响应示例 状态码: 200 更新服务成功。 { } 状态码 状态码 描述 200 更新服务成功。 错误码 请参见错误码。 父主题: 服务管理
} 状态码 状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
} 状态码 状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
} 状态码 状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
卡死检测仅支持资源类型为GPU和NPU的训练作业。 操作步骤 卡死检测无需额外配置,作业运行中会自动执行检测。检测到作业卡死后会在训练作业详情页提示作业疑似卡死。如需检测到卡死后发送通知(短信、邮件等)请在作业创建页面配置事件通知。 常见案例 训练作业卡死常见现象的案例和解决方案如下:
iner_npu_hbm_bytes)。 >0 兆字节(Megabytes) AI处理器错误码 ma_container_npu_ai_core_error_code 昇腾系列AI处理器错误码 - - AI处理器健康状态 ma_container_npu_ai_core_health_status
} 状态码 状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
目前卡死检测仅支持资源类型为GPU的训练作业。 操作步骤 卡死检测无需额外配置,作业运行中会自动执行检测。检测到作业卡死后会在训练作业详情页提示作业疑似卡死。如需检测到卡死后发送通知(短信、邮件等)请在作业创建页面配置事件通知。 常见案例 训练作业卡死常见现象的案例和解决方案如下:
失败。 方式二:打开OBS File Browser选择OBS文件路径,然后单击“上传”,开始上传文件。 图4 上传OBS文件 异常处理 提示文件上传失败,有以下三种常见场景。 异常场景1 图5 文件上传失败 可能原因: OBS路径没有设置为具体的文件路径,设置成了文件夹。 OB
删除。 图9 统一身份认证 进入ModelArts控制台的某个页面时,为什么会提示权限不足? 图10 页面提示权限不足 可能原因是用户委托权限配置不足或模块能力升级,需要更新授权信息。根据界面操作提示追加授权即可。 为什么专属资源池需要增加CCE、BMS、IMS、DEW相关授权?
在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先释放被挂载的NPU或者联系华为方技术支持。 检查驱动版本。 运行
# 注意dataset_name这个参数配置的数据集名称需要用户自行确认在该账号下未被他人使用,否则会导致期望的数据集未被创建,而后续节点错误使用了他人创建的数据集 workflow = wf.Workflow( name="create-dataset-demo",
} 状态码 状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)