检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Standard数据管理 ModelArts Standard数据管理提供了一套高效便捷的管理和标注数据框架。支持图片、文本、语音、视频等多种数据类型,涵盖图像分类、目标检测、音频分割、文本分类等多个标注场景,适用于计算机视觉、自然语言处理、音视频分析等AI项目场景。 ModelArts
Ascend Snt9B配套版本 CCE 1.28(推荐)/1.25/1.23(存量) Volcano插件 1.15.8 ModelArts Device-Plugin 1.1.0 huawei-npu 2.1.22 Lite模式DevServer节点操作系统 HCE2.0(推荐)/EulerOS
训练作业使用MoXing复制数据较慢,重复打印日志 问题现象 ModelArts训练作业使用MoXing复制数据较慢。 重复打印日志“INFO:root:Listing OBS”。 原因分析 复制数据慢的可能原因如下: 直接从OBS上读数据会造成读数据变成训练的瓶颈,导致迭代缓慢。
200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
Created 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
tations/search-condition 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 状态码: 200
功能介绍 主要用于执行流程的条件分支选择,可以简单的进行数值比较来控制执行流程,也可以根据节点输出的metric相关信息决定后续的执行流程。主要应用场景如下: 可以用于需要根据不同的输入值来决定后续执行流程的场景。例如:需要根据训练节点输出的精度信息来决定是重新训练还是进行模型的注册操作时可以使用该节点来实现流程的控制。
在ModelArts控制台的AI应用管理模块中,将模型部署为一个AI应用。 登录ModelArts控制台,单击“AI应用管理 > AI应用 > 创建”,开始创建AI应用。 图2 创建AI应用 设置创建AI应用的相应参数。此处仅介绍关键参数,设置AI应用的详细参数解释请参见从OBS中选择元模型。
1:置信度偏低。 2:基于训练数据集的聚类结果和预测结果不一致。 3:预测结果和训练集同类别数据差异较大。 4:连续多张相似图片的预测结果不一致。 5:图像的分辨率与训练数据集的特征分布存在较大偏移。 6:图像的高宽比与训练数据集的特征分布存在较大偏移。 7:图像的亮度与训练数据集的特征分布存在较大偏移。
sk_id}/acceptance/report 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是
1:置信度偏低。 2:基于训练数据集的聚类结果和预测结果不一致。 3:预测结果和训练集同类别数据差异较大。 4:连续多张相似图片的预测结果不一致。 5:图像的分辨率与训练数据集的特征分布存在较大偏移。 6:图像的高宽比与训练数据集的特征分布存在较大偏移。 7:图像的亮度与训练数据集的特征分布存在较大偏移。
batch服务类型必选。输入数据的映射类型,可选file或csv。 选择file时,指每个推理请求对应到输入数据目录下的一个文件,当使用此方式时,此模型对应req_uri只能有一个输入参数且此参数的类型是file。 选择csv时,指每个推理请求对应到csv里的一行数据,当使用此方式时,输入数据目录下的文件只能以
项目创建完成后,将会自动跳转至新版自动学习页面,并开始运行,当数据标注节点的状态变为“等待操作”时,需要手动进行确认数据集中的数据标注情况,也可以对数据集中的数据进行标签的修改,数据的增加或删减。 图1 数据标注节点状态 图片标注 在新版自动学习页面单击“实例详情”按钮,前往数据标注页面。单击任意一张图片,进入图片标注界面。
发布Workflow到ModelArts 发布Workflow到ModelArts有两种方式,这两种方式的区别在发布Workflow至运行态后,需要在Workflow页面配置输入输出等参数;而发布Workflow至运行态并运行通过对代码进行改造,用户直接在SDK侧发布并运行工作流,节省了前往控制台进行配置运行的操作。
创建处理任务 功能介绍 创建处理任务,支持创建“特征分析”任务和“数据处理”两大类任务。可通过指定请求体中的复合参数“template”的“id”字段来创建某类任务。 “特征分析”是指基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。 “
is_bf16_supported() 37 SUPPORT_FP16 = SUPPORT_CUDA #and torch.cuda.get_device_capability(0)[0] >= 7 修改文件tokenization_qwen.py: # tonkenization_qwen
该模型。 我的资产 > 数据 展示个人发布和下载的数据集列表。 “我的发布”:可以查看个人发布的数据集信息,如文件大小、文件数量等。通过右侧的“重试”或“删除”可以管理已发布的数据集。 “我的下载”:可以查看个人下载的数据集信息。单击下拉三角,可以查看数据集ID、下载方式、目标区域等信息。
String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes Array of Map<String,String> objects 数据输入为数据集时的相关属性。枚举值: data_format数据格式。 data_segmentation数据切分方式。 dataset_type标注类型。
的训练数据到当前训练流程中,扩展当前模型的知识和能力,而不需要从头开始。 增量训练不需要一次性存储所有的训练数据,缓解了存储资源有限的问题;另一方面,增量训练节约了重新训练中需要消耗大量算力、时间以及经济成本。 增量训练特别适用于以下情况: 数据流更新:在实际应用中,数据可能会持
大模型通过Function Calling可以调用外部工具或服务,例如实时数据检索、文件处理、数据库查询等,从而扩展其能力。 实时数据访问 由于大模型通常基于静态数据集训练,不具备实时信息。Function Calling允许模型访问最新的数据,提供更准确、更及时的回答。 提高准确性 在需要精确计算