检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path: 启动数据收集任务的yaml文件路径,例如/tmp/Octopus_data_collections.yaml output_dir: rosbag数据包作业运行结果输出目录,例如/tmp/output
在进行自动驾驶模型训练过程中需要大量有标签的图片或视频数据,因此在模型训练之前需要对处理完的数据进行各类标注,进行场景识别。Octopus提供预标注功能,支持部分预标注模型,能够节省70%的人力成本。也提供人工标注功能,用户可以针对未标注数据在线手动标注或预标注后人工确认难例数据。在创建标注任务前,需创建标注模板。
算子示例 数据脱敏作业 父主题: 数据脱敏
输出类型 可选择“数据标记”,“数据集”,“数据回放”,“回放仿真”,“数据图表”和“数据脱敏”。 数据标记:用于场景挖掘作业(Rosbag to 场景片段)。 数据回放:输出结果是OpenData格式(Rosbag to OpenData)。 数据集:用于数据抽取作业,输出至通用存储(Rosbag
Octopus平台支持用户删除数据包,执行删除操作的数据包将暂存回收站,等待用户可根据项目情况及时恢复或永久删除。具体操作参考如下: 在“数据包”页签,单击指定数据包操作栏内的“删除”。 确认后单击“确认删除”,删除后的数据包将放入回收站。 图1 删除数据包 查看数据包状态。 单击“回收站
camera_encoded_1,pandar --number 10” 完成后在${HOME}/tmp/output目录查看运行结果文件: 父主题: 场景挖掘作业(数据标记)
时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 图1 作业队列 数据处理作业队列相关操作 在“作业队列”页签,还可以进行以下操作。 表1 作业队列相关操作
示例代码 作业输入输出规范示例代码如下图所示: 代码文件命名为ros_hard_mining.py。 父主题: 场景挖掘作业(数据标记)
并行仿真任务资源利用说明 当前批量仿真任务同一用户仅允许同时运行一个批量仿真任务。假设有一个4节点的集群,某个任务只有一个场景,那么仿真会创建一个子任务,此时,任务只会被调度到一个节点上,示意图如图2所示。 图2 调度节点 这样某一台机器工作,其他3台机器资源会空闲,造成资源浪费。因此建议批量仿真时,
解析点云消息: 解析gnss消息: 写opendata_to_platform.yaml文件: 父主题: Rosbag转OpenData作业(数据回放)
平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,单击操作栏中的“详情”,进入数据包详情页。 单击数据包信息的“场景挖掘”,后台会自动进行内置场景挖掘。 图1 场景挖掘 当数据包的回放处理未完成时,场景挖掘按钮置灰。
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
运行镜像:可选择镜像仓库中已创建好的镜像。 镜像版本:选择镜像版本。 启动命令:请输入启动文件地址。 数据类型:此处只支持选择“数据脱敏”。对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。 单击“确认”,即可创建一个脱敏算子。 脱敏算子相关操作 在“算子管理”页签,还可以完成以下操作。
培训系统 支持题库管理、培训数据统计、正式数据一键转换为培训题目、培训题中可进行结果查看、可和培训员标注结果进行比对。 新增培训题库 在左侧菜单栏中单击“标注服务 > 培训考试”。 选择“培训系统 > 培训题库”页签,单击“新增”,参考下表填写项目信息; 图1 新增培训题库 课程
场景挖掘 场景挖掘 内置场景挖掘规则 父主题: 源数据包
任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签,可查看作业。 图1 作业队列 父主题: 数据脱敏
内置场景挖掘规则 内置场景挖掘算法都是基于规则进行片段挖掘。平台支持的内置场景挖掘规则如下: 道路---道路环境---高速 检验规格: 包含高精地图信息 主车行驶区域road级别type为motorway 道路---道路环境---城市快速路 检验规格: 包含高精地图信息 主车行驶
vehicle_info = 1。 } Camera 采集的camera数据通过转换工具可以保存为”.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。
updateDataset 删除数据集 octopus deleteDataset 创建数据集导出任务 octopus createDatasetExportTask 下载数据集版本的日志文件 octopus downloadDatasetVersionLog 下载数据集版本文件数据 octopus
批量更新队列优先级 功能介绍 批量更新队列优先级 URI PUT /v1.0/{project_id}/data/queuing-jobs/batch-update 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID