检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
有错误，提供的失败可能原因仅供参考。针对分布式作业，只会显示当前节点的一个分析结果，作业的失败需要综合各个节点的失败原因做一个综合判断。 常见训练问题定位思路如下： 根据日志界面提示中提供的分析建议解决。 参考案例解决：会提供当前故障对应的指导文档链接，请参照文档中的解决方案修复问题。
资源利用率：在作业进程IO没有变化的情况下，采集一定时间段内的GPU利用率或NPU利用率，并根据这段时间内的GPU利用率或NPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 约束限制 卡死检测仅支持资源类型为GPU和NPU的训练作业。 操作步骤 卡死检
在Windows上安装配置Grafana 在Linux上安装配置Grafana 在Notebook上安装配置Grafana 父主题： 使用Grafana查看AOM中的监控指标
运行训练代码，出现dead kernel，并导致实例崩溃 在Notebook实例中运行训练代码，如果数据量太大或者训练层数太多，亦或者其他原因，导致出现“内存不够”问题，最终导致该容器实例崩溃。 出现此问题后，系统将自动重启Notebook，来修复实例崩溃的问题。此时只是解决了崩溃问题，如果重
error”错误。大多数原因是华为云WAF安全拦截导致的。 当前页面，即用户的输入或者代码运行的输出有一些字符被华为云拦截，认为有安全风险。出现此问题时，请提交工单，联系专业的工程师帮您核对并处理问题。 父主题： Notebook实例常见错误
TensorFlow-1.8作业连接OBS时反复出现提示错误 问题现象 基于TensorFlow-1.8启动训练作业，并在代码中使用“tf.gfile”模块连接OBS，启动训练作业后会频繁打印如下日志信息： Connection has been released. Continuing
Face权重时，对应的存放地址。 在“输出”的输入框内设置变量：OUTPUT_SAVE_DIR、HF_SAVE_DIR。 OUTPUT_SAVE_DIR：训练完成后指定的输出模型路径。 HF_SAVE_DIR：训练完成的权重文件自动转换为Hugging Face格式权重输出的路径（确保添
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 系统生成的资源池名称。 表2 Query参数 参数 是否必选 参数类型 描述 time_range 否
团队标注使用流程 创建和管理团队 创建团队标注任务 审核并验收团队标注任务结果 管理团队和团队成员 父主题： 标注ModelArts数据集中的数据
ModelArts支持用户使用超参搜索功能。 在0代码修改的基础下，实现算法模型的超参搜索。需要完成以下步骤： 准备工作 创建算法 创建训练作业 查看超参搜索作业详情 准备工作 数据已完成准备：已在ModelArts中创建可用的数据集，或者您已将用于训练的数据集上传至OBS目录。
在Workflow列表页，您可以通过搜索框，根据工作流的属性类型快速搜索过滤到相应的工作流，可节省您的时间。 登录ModelArts管理控制台，在左侧导航栏选择“开发空间>Workflow”，进入Workflow总览页面。 在工作流列表上方的搜索框中，根据您需要的属性类型，例如名称、状态、当前节点、
发布Workflow 发布Workflow到ModelArts 发布Workflow到AI Gallery 父主题： 开发Workflow命令参考
Workflow高阶能力 在Workflow中使用大数据能力（DLI/MRS） 在Workflow中指定仅运行部分节点 父主题： 开发Workflow命令参考
IsADirectoryError(21, 'Is a directory'). update products failed! 原因分析 用户代码中设置的目标路径（local_path）有误。 处理方法 需要将local_path路径设置为文件夹且后缀必须以“/”结尾。 父主题： API/SDK
两条策略，便于授权时设置最小授权范围。此处的“trainJob”为项目级云服务、“trainJobobs”为全局级云服务。了解更多 创建用户组并加入用户，步骤请参考Step1 创建用户组并加入用户。 给用户组授权策略。 在IAM服务的用户组列表页面，单击“授权”，进入到授权页面，
实现对多个节点的资源释放。 若是“包年/包月”且资源未到期的资源池，您可单击操作列的“退订”，即可实现对单个节点的资源释放。 若是“包年/包月”且资源到期的资源池（处于宽限期），您可单击操作列的“释放”，即可实现对单个节点的资源释放。 部分“包年/包月”节点会出现“删除”按钮，原
当训练作业发生故障恢复时（例如进程级恢复、POD级重调度、JOB级重调度等），作业详情页面中会出现“故障恢复详情”页签，里面记录了训练作业的启停情况。 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中，单击作业名称进入训练作业详情页面。 在训练作业详情页面
如果作业重启次数没有达到设定的次数，则会自动做重新下发作业。您可以通过搜索“error,exiting”关键字查找作业重启失败结束的日志。 使用reload ckpt恢复中断的训练 在容错机制下，如果因为硬件问题导致训练作业重启，用户可以在代码中读取预训练模型，恢复至重启前的训练状态。用户需要在代码里加上reload
参数相关的配置使用Placeholder对象来表示，以占位符的形式实现用户数据运行时配置的能力，当前支持的数据类型包括：int、str、bool、float、Enum、dict、list。开发者可根据场景需要，将节点中的相关字段（如算法超参）通过Placeholder的形式透出，支持设置默认值，供用户修改配置使用。
_Default”实例。 图2 Prometheus_AOM_Default 从“设置”页签的“Grafana数据源配置信息”区域，获取当前Prometheus实例的Grafana数据源配置代码。 在Grafana中增加数据源。 登录Grafana。首次登录用户名和密码为admin，登录成功后可根据提示修改密码。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
