检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
服务列表中搜索服务名称 单击服务名称进入八爪鱼自动驾驶云服务 Octopus管理控制台。 单击“立即申请”。 图2 公测页面 根据实际情况设置企业规模、研发人员比例、应用场景、业务当前阶段等信息。 用户第二次申请公测时,可以继承上一次申请该产品公测活动所填写的必填项信息。 选中“同意《公测试用服务协议》”。
推理服务镜像同训练任务镜像一样,必须内置一个用户名为“ma-user”,组名为“ma-group”的普通用户,且必须确保该用户的uid=1000、gid=100。 需要明确设置镜像的启动命令。执行命令如下: CMD sh /home/mind/run.sh 服务端必须使用https协议, 且暴露在所有网络平面(0
图2 选择数据集 数据集:选择相对应的数据集或标注导入、导出数据集。 数据集中的标注物如果已经存在,则标注物信息以数据集中为准。 完成“标注设置”。 任务类型为人工标注: 图3 人工标注 任务类型:有人工标注和预标注两种。此处以人工标注为例。 标注物:标注模板和项目内标注物至少选取一种。
场景管理 仿真场景模块支持对单个仿真场景的增删改查操作。用户可根据场景类型,依据平台提示,上传符合要求的场景文件。场景创建完毕后,用户可选择在线仿真机器加载场景,通过仿真器内置算法检验场景质量。 创建场景 仿真场景支持用户上传符合仿真器场景规范的自定义场景。添加场景的步骤可参考如下:
车道线检测 Octopus 目录 标注文件目录结构 +--- 1628568066600 | +--- 1628568066600.jpg | +--- 1628568066600.json +--- 1628654064999 | +--- 1628654064999
场景展示 前提条件 符合以下两种条件中的其中之一,即可在此模块查看数据场景片段。 选择自定义挖掘算子(数据标记类型)的作业正常运行完毕(自定义场景片段)。 在源数据包详情界面,手动触发“场景挖掘”按钮,并完成数据场景挖掘作业(内置场景片段)。 生成仿真场景 生成仿真场景必须同时依
集群提供多种节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境,平台可以将集群统一纳管,更方便查看节点资源使用量和修改节点用途,以及设置资源规格。其中,cce-user-job集群需强制纳管以适配资源规格。如用户直接通过后台操作k8s集群及节点造成环境错乱,则需承担责任。 查看集群纳管
octopus deleteAnnotationScripts 批量删除标注任务 octopus deleteAnnotationSubTasks 设置标注任务的审核比例 octopus updateAnnotationSubTaskQualityInspectionRatio 更新标注子任务流程
创建用例 测试用例支持用户上传符合仿真器用例规范的自定义用例。添加用例的步骤可参考如下: 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“测试用例”页签,单击“创建用例”,填写基本信息。 图1 创建用例 测试用例名称:只能包含数字、英文、中文、下划线、中划线、点,且不支持以点结尾,不得超过256个字符。
通用存储 创建存储目录 在左侧菜单栏中,单击“数据资产 > 通用存储”。 选择“通用存储”页签,单击“创建存储目录”,填写基本信息。 图1 创建存储目录 单击“确定”,通用存储列表可查看新建通用存储。 通用存储相关操作 在“通用存储”列表,还可以完成以下操作。 表1 通用存储相关操作
重新上传作业 单击操作栏中的“更多 > 重新上传”,可重新上传作业。 说明: 仅支持作业状态为“上传失败”的作业。 搜索作业 在时间搜索框中设置搜索时间范围,单击“确认”,即可查询。 选择“ID”、“数据包ID”或“算子”,在搜索输入框中输入搜索条件,按回车键即可查询。 父主题: 数据脱敏
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
ramp_lane_num。 如果希望车道属性需要搭建同一方向,不能存在left和right属性同时出现,可以将left_lane_num设置为0。 父主题: 领域模型设计
仿真任务详情 在任务管理页面,用户可以看到多批次任务的实时进度以及所处状态。单击指定任务名称,用户可以看到该任务的详细信息。在任务详情页面,用户可以看到该任务的创建时间、启动时间、运行时间、完成时间以及任务的状态等信息,同时展示任务下的所有场景的仿真评测结果,综合得分和运行结果,
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于100G。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收Rosbag格式数
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于100G。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收Rosbag格式数
查看源数据包 原始数据包含车辆采集的各类传感器数据信息,数据导入任务创建完毕后,平台对数据包进行扫描,此模块展示导入成功的数据包。 数据包列表 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,默认显示数据包列表。 图1 数据包列表 表1 数据包列表相关操作 任务