检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景挖掘作业(数据标记) 作业输入输出规范 用户完成自定义场景挖掘镜像上传后,在运行作业容器时,Octopus平台会向作业容器中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag output_dir:
模型仓库 模型仓库介绍 模型管理模块支持以模型仓库的方式对模型进行纳管和归档,每个模型仓库中又可以创建若干个模型版本,方便对同类模型统一管理。 模型包含镜像和文件两部分。其中镜像与模型仓库绑定,也就是说同一个模型仓库的版本共享一个镜像;文件存储在对象存储(OBS)中, 各个版本的文件一般不同。
模型微调 模型微调是在不依赖训练服务的情况下对模型进行二次训练,达到二次调优的效果。调优后的迭代模型可以在智驾模型管理列表中查看。 新建模型微调任务 完成OBS授权委托,具体操作步骤请参考授权操作步骤。 在服务控制台“总览 > 模型微调”,开通“智驾模型微调”服务。 在左侧菜单栏中选择“智驾模型服务
评测算法的自研proto接口 背景 Octopus内置一套评测算法,用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义,序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示,目前控制台展示主要分为两大方面:
Rosbag转OpenData作业(数据回放) 作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag
查询作业详情 功能介绍 查询作业详情 URI GET /v1.0/{project_id}/data/jobs/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是 Long 作业id 最小值:1
制作ModelArts集群训练镜像 制作训练镜像 八爪鱼训练镜像使用ma-user用户运行,用户需保证镜像内已创建ma-user用户,且训练过程中使用到的python环境或其他依赖对ma-user具有权限。本地镜像构建完成后,需要将镜像上传到八爪鱼平台镜像仓库。 如果使用dock
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
更新数据包标签 功能介绍 更新数据包标签 URI PUT /v1.0/{project_id}/data/packages/{id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是 String
创建作业 功能介绍 创建作业 URI POST /v1.0/{project_id}/data/jobs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 请求参数 表2 请求Header参数 参数 是否必选
制作CCE集群训练镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。
点云标注数据集文件说明 OCTOPUS格式文件基本要求(点云标注) 上传的OCTOPUS格式数据集需包含以下文件。 . ├─ 文件夹1 ├─ 点云1.pcd #点云文件 ├─ 图片1.jpg #该点云图像对应的已标注图片
创建数据场景片段 功能介绍 创建数据场景片段 URI POST /v1.0/{project_id}/data/scenario/segments 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 请求参数
模板管理 在进行自动驾驶模型训练过程中需要大量有标签的图片或视频数据,因此在模型训练之前需要对处理完的数据进行各类标注,进行场景识别。Octopus提供预标注功能,支持部分预标注模型,能够节省70%的人力成本。也提供人工标注功能,用户可以针对未标注数据在线手动标注或预标注后人工确
批量删除作业 功能介绍 批量删除作业 URI DELETE /v1.0/{project_id}/data/jobs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数 参数 是否必选
4D分割预标注 4D分割预标注支持对大点云输入文件进行标注。支持的3D预标注类别如下: Pedestrian(行人)、Bicycle(自行车)、Motorcycle(摩托车)、Truck(卡车)、Bus(公交车)、Car(小汽车)、Trailer(拖车)、Construction
数据集管理 数据集建成后,在“数据集”列表,可对数据集进行以下操作。 表1 数据集列表相关操作 任务 操作步骤 查找数据集 在搜索输入框中输入搜索条件,按回车键即可查询。 查看数据集详情 在“数据集”列表,单击目标数据集名称,查看数据详情、数据预览、待发布区、版本管理和子集管理,详情请参考数据集详情。
功能总览 功能总览 全部 功能架构 数据资产 数据合规 数据处理 标注服务 训练服务 仿真服务 智驾模型服务 镜像仓库 运维配置 工作空间 功能架构 自动驾驶云服务(Octopus)是一个一站式的开发平台,能够支撑开发者从数据收集到仿真应用的全流程开发过程。整体由数据资产、数据服
标注工具和快捷键说明 标注平台提供多种标注工具和隐藏快捷键,满足不同标注任务所需,提高标注效率。 2D标注 2D标注任务较多,类型多样,故平台开发多种标注工具,辅助标注工作,提高标注人员标注效率。 表1 标注工具说明 一级图标 二级图标 名称 功能 快捷键 无 选择 拖动标注框。
数据脱敏作业 作业输入输出规范 用户完成自定义脱敏算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: input_file:待脱敏的文件路径 raw_dir:抽取的image,gnss,lidar数据存放路径 desensitized_dir:脱敏后的image,gnss,lidar数据存放路径