检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本地标注的数据,导入ModelArts需要做什么? ModelArts支持通过导入数据集的操作,导入更多数据。本地标注的数据,当前支持从OBS目录导入或从Manifest文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OB
pipeline代码适配 onnx pipeline的主要作用是将onnx模型进行一系列编排,并在onnx Runtime上按照编排顺序执行。因此,需要将转换得到的mindir模型按照相同的逻辑进行编排,并在MindSpore Lite上执行。只需要将原始onnx的pipelin
更新数据集 功能介绍 修改数据集的基本信息,如数据集名称、描述、当前版本或标签等信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{projec
配置Grafana数据源 在Grafana配置数据源后,即可通过Grafana查看ModelArts的监控数据。 前提条件 已安装Grafana。 配置Grafana数据源 获取Grafana数据源配置代码。 进入AOM管理控制台。 图1 AOM管理控制台 在左侧导航栏中选择“Prometheus监控
CombineTmsTags objects 标签的融合结构,相同key合并。 表3 CombineTmsTags 参数 参数类型 描述 key String 标签的key。 values Array of strings 相同key的标签value合并后的列表。 状态码: 400 表4 响应Body参数
删除数据集 根据数据集ID删除指定的数据集 delete_dataset(session, dataset_id) 示例代码 删除数据集 from modelarts.session import Session from modelarts.dataset import Dataset
团队标注功能是以团队为单位进行管理,数据集启用团队标注功能时,必须指定一个团队。一个团队可以添加多个成员。新添加的团队,其成员列表为空。您需要根据实际情况添加即将参与标注任务的成员信息。 一个账号最多可添加10个团队。一个团队最多支持添加100个成员,当超过100时,建议分为多个团队进行管理。 如
Notebook中可以不用执行鉴权命令,默认使用委托信息,不需要手动进行鉴权操作; 如果用户在ModelArts Notebook中也配置了鉴权信息,那么将会优先使用用户指定的鉴权信息。 在鉴权时,注意您的敏感信息数据保护,避免敏感信息泄露。 命令参数总览 $ ma-cli configure
标注数据如何导出 只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。 “物体检测”只支持导出Pascal VOC格式的XML标注文件。 “图像分割”只支持导出Pascal VOC格式的XML标注文件以及Mask图像。
Profiling数据采集 在train.py的main()函数Step迭代处添加配置,添加位置如下图所示: 此处需要注意的是prof.step()需要加到dataloder迭代循环的内部以保证采集单个Step迭代的Profiling数据。 更多信息,请参见Ascend PyTorch
视频标注:识别出视频中每个物体的位置及分类。目前仅支持mp4格式。 前提条件 在进行数据标注前,需要创建相应类型的数据集。具体步骤参考创建数据集。 操作步骤 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备> 数据标注”,进入“数据标注”管理页面。 在数据标注管理页面,单击页面右上角“创建标注作业”,
在Workflow中使用大数据能力(DLI/MRS) 功能介绍 该节点通过调用MRS服务,提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时,可以根据已有数据使用该节点进行训练计算。 使用案例 在华为云MR
配置多分支节点数据 功能介绍 仅用于存在多分支执行的场景,在编写构建工作流节点时,节点的数据输入来源暂不确定,可能是多个依赖节点中任意一个节点的输出。只有当依赖节点全部执行完成后,才会根据实际执行情况自动获取有效输出作为输入。 使用案例 from modelarts import
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
桶与ModelArts在同一区域。 参考上传文件,将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。
CombineTmsTags objects 标签的融合结构,相同key合并。 表4 CombineTmsTags 参数 参数类型 描述 key String 标签的key。 values Array of strings 相同key的标签value合并后的列表。 状态码: 400 表5 响应Body参数
output2=obs://bucket/output2 --input String 否 训练的输入信息,指定后,训练作业将会把对应OBS上的数据下载到训练容器,并将数据存储路径通过指定的参数传递给训练脚本。如果需要指定多个参数,可以使用--input data_path1=obs://bucket/data1
智能标注完成后新加入数据是否需要重新训练? 智能标注完成后,需要对标注结果进行确认。 如果未确认标注结果,直接加入新数据,重新智能标注,会将待确认的数据和新加入的数据全部重新训练。 如果确认标注结果后,再加入新数据,只重新训练标注新的数据。 父主题: Standard数据管理
创建数据集版本 为数据集创建新的版本。 dataset.create_version(name=None, version_format=None, label_task_type=None, label_task_id=None, **kwargs) 示例代码 示例一:为数据集创建新的版本
查询数据集详情 查询数据集的详细信息,包括数据集的样本信息、版本信息等。 dataset.get_dataset_info() 示例代码 查询数据集详情 from modelarts.session import Session from modelarts.dataset import