正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 kind String 训练作业类型。默认使用job。枚举值: job 训练作业。 metadata JobMetadata object 训练作业元信息。 status Status object 训练作业状态信息。创建作业无需填写。 algorithm JobAlgorithmResponse
查询服务监控信息 查询当前服务对象监控信息。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据部署在线服务生成的服务对象进行查询服务监控 1 2 3 4 5 6 7 from
Long 训练作业运行时长,单位为毫秒。 node_count_metrics Array<Array<Integer>> 训练作业运行时节点数变化指标。 tasks Array of strings 训练作业子任务名称。 start_time Long 训练作业开始时间,格式为时间戳。
节点故障指标(nt_npg)默认会上报到AOM,您可以在AOM配置短信、邮件等通知方式。 以下步骤基于AOM1.0配置。 登录AOM控制台 在左侧导航栏选择“告警 > 告警规则”,在右上角单击“添加告警”。 设置告警规则(以NPU掉卡为例)。 规则类型:选择阈值类告警。 监控对象:选择命令行输入。
构建条件节点控制分支执行 功能介绍 主要用于执行流程的条件分支选择,可以简单的进行数值比较来控制执行流程,也可以根据节点输出的metric相关信息决定后续的执行流程。主要应用场景如下: 可以用于需要根据不同的输入值来决定后续执行流程的场景。例如:需要根据训练节点输出的精度信息来决
可以查看推理效果。 支持设置时间区间,查看不同时间下的推理效果。 仅当推理服务处于“运行中”,才支持查看监控指标。 表2 推理效果的指标介绍 指标名称 指标说明 CPU使用率 在推理服务启动过程中,机器的CPU占用情况。 内存使用率 在推理服务启动过程中,机器的内存占用情况。 显卡使用率
“类型”:选择需要分析的类型。支持“all”、“train”、“eval”和“inference”。 “数据特征指标”:在右侧下拉框中勾选需要展示的指标。详细指标说明请参见支持分析指标及其说明。 选择完成后,页面将自动呈现您选择对应版本及其指标数据,您可以根据呈现的图表了解数据分布情况,帮助您更好的处理您的数据。 查看分析任务的历史记录。
调用查询训练作业详情接口使用刚创建的训练作业返回的id查询训练作业状态。 调用查询训练作业指定任务的日志(OBS链接)接口获取训练作业日志的对应的obs路径。 调用查询训练作业指定任务的运行指标接口查看训练作业的运行指标详情。 当训练作业使用完成或不再需要时,调用删除训练作业接口删除训练作业。 前提条件 已获取I
升级、卸载volcano插件。 可能导致作业调度异常。 中 回退版本、重装插件。 卸载ICAgent插件。 可能导致日志、监控功能异常。 中 回退版本、重装插件。 helm 升级、回退、卸载os-node-agent。 导致驱动升级、故障检测、指标采集、节点运维功能异常。 高 联系华
Learning)和“DevOps”(Development and Operations)的组合实践。机器学习开发流程主要可以定义为四个步骤:项目设计、数据工程、模型构建、部署落地。AI开发并不是一个单向的流水线作业,在开发的过程中,会根据数据和模型结果进行多轮的实验迭代。算法工程师会根据数据特征以及数据的
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 父主题: 使用ModelArts Standard部署模型并推理预测
监控Lite Server资源 使用CES监控Lite Server资源 使用DCGM监控Lite Server资源 父主题: Lite Server资源管理
实时日志:训练作业实时运行时产生,在ModelArts训练作业详情页面上可以查看。 历史日志:训练作业结束后,可以在ModelArts训练作业详情页面上查看历史日志,ModelArts系统自动保存30天。 永久日志:转存到OBS桶中的训练日志,在创建训练作业时,打开永久保存日
查询数据集监控数据 功能介绍 查询数据集在指定时间范围内的监控数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/dat
查询超参搜索算法列表。 表7 训练作业管理接口 API 说明 创建训练作业 创建训练作业。 查询训练作业详情 查询训练作业详情。 更新训练作业描述 更新训练作业描述。 删除训练作业 删除训练作业。 终止训练作业 终止训练作业,只可终止创建中、等待中、运行中的作业。 查询训练作业指定任务的日志(预览)
用“我的订阅”创建训练作业。 旧版中使用“常用框架”创建训练作业的用户,可以在新版训练中使用“自定义算法”创建训练作业(启动方式选择“预置框架”)。 旧版中使用“自定义”(即自定义镜像)创建训练作业的用户,可以在新版训练中使用“自定义算法”创建训练作业(启动方式选择“自定义”)。
更新算法 删除算法 获取支持的超参搜索算法 创建训练作业 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练作业指定任务的日志(预览) 查询训练作业指定任务的日志(OBS链接) 查询训练作业指定任务的运行指标 查询训练作业列表 查询超参搜索所有trial的结果 查询超参搜索某个trial的结果
变量名 说明 示例 MA_CURRENT_IP 作业容器IP。 “MA_CURRENT_IP=192.168.23.38” MA_NUM_GPUS 作业容器的加速卡数量。 “MA_NUM_GPUS=8” MA_TASK_NAME 作业容器的角色名,例如: MindSpore、PyTorch为worker
如何访问训练作业的后台? ModelArts不支持访问训练作业后台。 父主题: 查看作业详情
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。 检查资源分配情况(