检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
评测结果 评测任务完成后,可单击评测任务名称查看模型评测各项得分。任务详情页面展示了评测任务详情信息以及评测模型结果信息两部分内容。 任务详情 任务详情页面,详细展示了任务名称、类别、资源规格等基本信息。 图1 任务详情 任务视图 根据用户选择“自定义”或“内置”评测方式,详情页会展示以下三种流程图:
步骤三:创建评测 Octopus支持自定义内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包
文件名称,单个模糊匹配 最大长度:64 file_types 否 Array of strings 文件类型 数组长度:0 - 6 枚举值: IMAGE(图片) POINT_CLOUD(点云) TEXT(文本) VIDEO(视频) SCENARIO(场景) OTHERS(其他) and_tags
项目详情 标注平台支持统计项目的进展情况以及团队成员的标注效率,便于管理员把控项目整体进度,及时掌握成员的标注效率。单击项目名称后操作栏的“项目详情”,查看项目整体进度以及人员标注效率统计。项目详情分为项目概览、关联题库以及人员详情。 数据类型为音频和文本的项目,暂不支持关联题库
信号查看器 评测任务运行过程中,将一些衡量自动驾驶质量的关键指标,如速度、加速度等数据在仿真场景中变化量绘制成图表,便于用户直观考量规控算法的控制质量。用户也可将业务所需关注的数据集合成新的图表,对比查看。 查看器一次只支持载入5个任务场景,页面最多支持5个框图展示,一个框图最多支持10条信息选择,。
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
数据回放 数据回放页面可自动播放车辆渲染后的点云图像以及与之同步的视频轨迹,用户选用不同形式进行数据回放,方便排查和定位路测数据存在的问题。 前提要求 3D回放对回放机器配置有以下要求: 回放机器需要GPU硬件。硬件加速的方式:在chrome设置-高级中打开硬件加速 。 机器的参考配置(最低配置):8核cpu
场景管理分类设计使用逻辑 场景管理提供所有仿真场景、测试用例和泛化场景的管理功能,用户可上传符合平台规范的自定义场景,也可将场景下载至本地开发。Octopus平台自研场景标签分类体系,从多维度深层次科学分类场景。仿真场景库可自建仿真场景库,集合相同场景格式的不同条件仿真场景,检验在特定条件下仿真算法控制质量。
评测算法的自研proto接口 背景 Octopus内置一套评测算法,用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义,序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示,目前控制台展示主要分为两大方面: