检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
智驾模型简介 通过与AI模型、大模型的结合,提供高精度自动标注能力,大幅度降低传统人工标注数据真值的成本。提供场景数据集生成能力,帮助自动驾驶模型训练快速扩充数据集,低成本获取难例数据集。提供多模态场景理解和检索能力,帮助客户在海量样本库快速、智能的分类和检索。 前提条件 开通相应服务并购
高质量的标注数据有利于模型精准度提升,并持续迭代。 增量数据集 将标注后的数据根据数据类型、标注、标签等,建立不同种类的数据集,同时支持数据集增量更新,可针对性用于不同算法和模型的训练。 模型训练 基于平台上创建好的数据集,可对自定义算法或内置算法进行训练,并对生成的模型进行评估,也可进一步用于预标注。
在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 状态是待脱敏或者脱敏中的数据包不能运行数据回放类型的作业。 数据包类型必须是Rosbag类型。 当选择数据集算子时,数据类型可支持选择通用存储和数据场景。
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
模型评测 在机器学习中,通常需要使用一定的方法和标准,来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别,如识别车辆、行人、可行区域等对象。 评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题: 训练服务
用户从数据资产中的数据集和数据缓存中选择数据集,最多支持添加5个数据集。 图5 选择数据集 单击“创建”,在任务列表或分组可查看新建训练任务。 训练任务相关操作 在“训练任务”列表,可对训练任务进行以下操作: 表1 训练任务相关操作 任务 操作步骤 查找任务 在搜索输入框中输入搜索条件,按回车键即可查询。
资产识别与管理 资产识别 用户在数据资产包括用户上传的数据集以及用户提供的一些个人信息。 数据资产包括但不限于文本、图形、音频、视频、照片、图像、代码、算法、模型等。 资产管理 对于用户上传至Octopus的资产,Octopus会做统一的保存管理。 对于文件类型的资产,Octop
境变量${ALGORITHM}至容器中,并在“评测启动指令”文本框内输入环境变量提示信息。 选择数据集:用户选择评测使用的数据集。如果选择内置评测选项,数据集不支持视图格式。选择数据集时无法预览到视图数据。 选择自定义评测和内置指标评测(“自定义评测”和“内置指标评测”至少选择一项)。
境变量${ALGORITHM}至容器中,并在“评测启动指令”文本框内输入环境变量提示信息。 选择数据集:用户选择评测使用的数据集。如果选择内置评测选项,数据集不支持视图格式。选择数据集时无法预览到视图数据。 选择自定义评测和内置指标评测(“自定义评测”和“内置指标评测”至少选择一项)。
训练。 自动化标注 自动驾驶算法的持续提升依托于持续增加的高质量标注数据集,平台提供预标注范例模型,能对常用的物体如乘用车、大巴车、行人、骑行人、交通灯、可行驶区域等进行预标注,同时通过难例挖掘持续提升标注数据集质量。 仿真场景库 提供场景库管理和分布式运行能力,覆盖大部分驾驶路况,提升自动驾驶安全性。
新增镜像仓库、镜像版本、数据集、数据集版本、数据仓库、数据仓库自定义属性、集群信息管理、数据总览、数据包、数据导入、数据回放、作业管理、算子管理、作业队列、内部作业、数据场景、标签管理相关操作接口。 新增Common-SDK错误码、镜像仓库错误码、数据服务错误码、数据集服务错误码。 2023-12-19
训练。 自动化标注 自动驾驶算法的持续提升依托于持续增加的高质量标注数据集,平台提供预标注范例模型,能对常用的物体如乘用车、大巴车、行人、骑行人、交通灯、可行驶区域等进行预标注,同时通过难例挖掘持续提升标注数据集质量。 仿真场景库 提供场景库管理和分布式运行能力,覆盖大部分驾驶路况,提升自动驾驶安全性。
如何查看Octopus与OBS桶是否在同一区域? 在使用Octopus各功能时,如创建训练作业、创建数据集等,涉及到需要指定OBS目录时,都需要保证此OBS桶与Octopus在同一区域。 查看OBS桶与Octopus是否在同一区域 查看创建的OBS桶所在区域。 登录OBS管理控制台。
预标注模型文件 预标注模型完成对数据的推理,并将推理结果按照规定格式放在指定路径中。 模型文件基本要求 自定义模型包通过环境变量获取数据集路径和推理结果存放路径,将每帧数据的推理结果按照规定格式存入规定路径的json文件中。 自定义模型包中必须包含启动文件。除此之外,还可包含一些
保存至根目录下。 环境变量使用说明 模型推理所需的待审核数据集目录等信息均可通过注入镜像的环境变量获取,详情见镜像制作(标注)。 环境变量 描述 获取方式(以python为例) OCTPS_DATASET_DIR 全量数据集目录 os.getenv('OCTPS_DATASET_DIR')
本、更新镜像仓库版本状态、创建镜像仓库版本操作账号的接口。 数据集 包括获取数据集列表、创建数据集、获取数据集详情、删除数据集的接口。 数据集版本 包括获取数据集版本列表、创建数据集版本、获取数据集版本详情、删除数据集版本的接口。 数据仓库 包括获取数据仓库列表信息和获取数据仓库的数据列表的接口。
相关参数说明 名称 环境变量 默认值 备注 数据集目录 DATASET CCE: /tmp/data/dataset ModelArts: /home/ma-user/datasets 数据集在训练任务中的存放路径,可自行获取各种数据集信息。 数据集映射 DATASET_MAP {key1:
自动提取对应场景行为的片段,展示在此模块中。 数据集:支持数据集多版本管理和统计。同时支持用户将本地符合平台规范的数据集导入平台,以及将平台上的数据集导出到自有OBS桶中。 数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进
审核人员在标注和审核过程中依据规范进行标注和审核,提高任务完成质量。 选择数据集。 图2 选择数据集 数据集:选择相对应的数据集或标注导入、导出数据集。 数据集中的标注物如果已经存在,则标注物信息以数据集中为准。 完成“标注设置”。 任务类型为人工标注: 图3 人工标注 任务类型
权限和授权项 权限及授权项说明 镜像仓库 镜像版本 数据集 数据集版本 数据仓库 数据仓库自定义属性 集群信息管理 数据总览 数据包 数据导入 数据回放 作业管理 算子管理 作业队列 内部作业 数据场景 标签管理 仿真场景 场景地图