检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
statistics statistics object 资源池统计信息。 operationTime String 统计的时间。 表4 statistics 参数 参数类型 描述 status status object 不同状态下的资源池统计信息。 表5 status 参数 参数类型 描述 creating
Map<String,Integer> 难例统计信息。 label_stats Array of LabelStats objects 标签统计信息列表。 metadata_stats Map<String,Object> 样本元信息统计信息,json格式。 sample_stats
Map<String,Integer> 难例统计信息。 label_stats Array of LabelStats objects 标签统计信息列表。 metadata_stats Map<String,Object> 样本元信息统计信息,json格式。 sample_stats
statistics object 作业的统计信息。 表3 statistics 参数 参数类型 描述 total Integer 统计信息列表数量。 items Array of WorkloadStatistics objects 特定作业类型统计信息。 表4 WorkloadStatistics
ModelArts如何通过标签实现资源分组管理 ModelArts支持对接标签管理服务TMS,在ModelArts中创建资源消耗性任务(例如:创建Notebook、训练作业、推理在线服务)时,可以为这些任务配置标签,通过标签实现资源的多维分组管理。 ModelArts支持配置标签
、“图像色彩”等维度为自动分组功能增加选项,使得分组着重于图片亮度、色彩和清晰度等特征进行分组。支持多选。 图1 自动分组 启动任务提交成功后,界面右上角显示此任务的进度。等待任务执行完成后,您可以查看自动分组任务的历史记录,了解任务状态。 查看自动分组结果 在数据集详情页面的“
使用TMS标签实现资源分组管理 ModelArts支持对接标签管理服务TMS,在ModelArts中创建资源消耗性任务时,可以为这些任务配置标签,通过标签实现资源的多维分组管理。 ModelArts支持配置标签的任务有:创建训练作业任务、创建Notebook、创建推理在线服务、创建ModelArts
Msprobe梯度监控 梯度监控工具提供了将模型梯度数据导出的能力。使用梯度监控工具,可以实现对训练过程模型每一层梯度信息进行监控,目前支持两种能力: 将模型权重的梯度数据导出。这种功能可以将模型权重的梯度值以统计量的形式采集出来,用以分析问题,例如检测确定性问题,使用训练状态监控工具监控NPU训练过程中的确定性计算问题。
启动智能任务 功能介绍 启动智能任务,支持启动“智能标注”和“自动分组”两大类智能任务。可通过指定请求体中的“task_type”参数来启动某类任务。数据路径或工作路径位于KMS加密桶的数据集,不支持启动主动学习和自动分组任务,支持预标注任务。 “智能标注”是指基于当前标注阶段的标签
如何查看数据集大小 数据管理目前只统计数据集的样本数量,无法查看数据集大小。 父主题: Standard数据管理
器使用Ubuntu20.04操作系统默认已经安装IB驱动。) 操作步骤 方法1:使用mlx硬件计数器,估算ROCE网卡收发流量 统计300s内流量,统计脚本如下: x=$(cat /sys/class/infiniband/mlx5_2/ports/1/counters/port_rcv_data)
总览Workflow工作流 功能介绍 获取Workflow工作流统计信息。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{proje
停止智能任务 功能介绍 停止智能任务,支持停止“智能标注”和“自动分组”两大类智能任务。可通过指定路径参数“task_id”来停止某个具体任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
获取智能任务的信息 功能介绍 获取智能任务的详细信息,支持查询“智能标注”和“自动分组”两大类智能任务。可通过指定路径参数“task_id”来查询某个具体任务的详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
的输入(inDataFile)和输出的标杆数据(benchmarkDataFile),benchmark工具会随机生成一个输入进行推理,并统计推理时间。执行的示例命令行如下。 # shell benchmark --modelFile=resnet50.mindir --device=Ascend
查询团队标注任务成员的进度信息 功能介绍 查询数据集团队标注任务中成员标注进展的统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{proj
降低人工标注量,帮助用户找到难例。 “预标注”表示选择用户模型管理里面的模型进行智能标注。 “自动分组”是指先使用聚类算法对未标注图片进行聚类,再根据聚类结果进行处理,可以分组打标或者清洗图片。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Ex
并输入步骤1中复制的Notebook的ID,单击图标即可搜索该资源的账单。 图1 查询资源账单 这里设置的统计维度为“按使用量”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。 查看训练作业的账单 ModelArts训练作业查询资源账单首先需
测量对象 监控周期 cpu_usage CPU使用率 该指标用于统计ModelArts用户服务的CPU使用率。 单位:百分比。 ≥ 0% ModelArts模型负载 1分钟 mem_usage 内存使用率 该指标用于统计ModelArts用户服务的内存使用率。 单位:百分比。 ≥ 0%
“历史更新记录”:展示历史模型相关信息。 监控信息 展示当前服务的“资源统计信息”和“模型调用次数统计”。 “资源统计信息”:包括CPU、内存、GPU、NPU的可用和已用信息。 “模型调用次数统计”:当前模型的调用次数,从模型状态为“已就绪”后开始统计。(websocket服务不显示) 事件 展示当前