华为云用户手册

多帧识别场景列表 表2 多帧识别类别 类别 场景 描述 时间 TIME 白天Day - 夜晚Night - 日出Sunrise - 日落Sunset - 天气 WEATHER 晴天Sunny - 晴空Clear sky - 雾天Foggy - 雨天Rainy - 雪天Snowy - 多云Cloudy - 地点 PLACE 城市道路Urban road - 加油站Gas Station - 高速公路Highway - 停车场Parking - 住宅区Residential Area - 隧道Tunnel - 物体 OBJE CTS 小型车Small Vehicle 为个人使用而设计的小型车辆，如轿车，小型货车，suv和吉普车 卡车Truck 主要用于运输货物的车辆，包括皮卡、卡车和半挂车。 工程车Construction Vehicle 用于施工的车辆，如挖掘机、推土机。 摩托车Motorcycle 汽油或电力驱动的两轮车辆，包括所有摩托车、小型摩托车，踏板车，轻型三轮车。 自行车Bicycle 以较低速度在路面、人行道或自行车道上行驶的人力驱动的两轮车辆。 行人Pedestrian 道路上自由行动的所有人员。 交通灯Traffic Lights 交通灯，即红绿灯，标注的一个实例仅包含一个三联装的红绿灯，无论横向或纵向。 拖车Trailer 拖车，被拖拽的车辆或集装箱。 路障Road barrier 临时放置在现场的任何金属、混凝土等路障，以重新引导车辆或行人通行。

输出文件格式要求 输出结果在obs下文件组织形式： |--- 4DBEV |--- geojson |--- 0_lane.geojson |--- 0_rect.geojson |--- 2_lane.geojson |--- 1_rect.geojson |--- ... |--- ... |--- laneAndRect.json |--- img |--- 0.jpg |--- 1.jpg |--- ... |--- label_rect_temp |--- 0.jpg |--- 0.json |--- 1.jpg |--- 1.json |--- ... |--- ... |--- lidar |--- 0.ply |--- 1.ply |--- ... |--- lidar_sample |--- 0.ply |--- 1.ply |--- ... |--- merged_data |--- lane.geojson |--- rect.geojson |--- merged.geojson |--- pixel_json |--- 0_lane.json |--- 0_rect.json |--- 2_lane.json |--- 1_rect.json |--- ... |--- ... |--- tiff |--- 0_codeX_codeY_codeZ_codeX_codeY_codeZ.tiff |--- 1_codeX_codeY_codeZ_codeX_codeY_codeZ.tiff |--- ...

输入文件格式要求 输入数据在obs下文件组织形式： |--- Alignment |--- 2023-12-21-02-51-43 |--- images |--- cam-0 |--- 0_0_timestamp.jpg |--- 0_1_timestamp.jpg |--- 0_2_timestamp.jpg |--- ... |--- cam-1 |--- 1_0_timestamp.jpg |--- 1_1_timestamp.jpg |--- 1_2_timestamp.jpg |--- ... |--- cam-2 |--- 2_0_timestamp.jpg |--- 2_1_timestamp.jpg |--- 2_2_timestamp.jpg |--- ... |--- cam-3 |--- 3_0_timestamp.jpg |--- 3_1_timestamp.jpg |--- 3_2_timestamp.jpg |--- ... |--- cam-4 |--- 4_0_timestamp.jpg |--- 4_1_timestamp.jpg |--- 4_2_timestamp.jpg |--- ... |--- pano |--- 0_timestamp.jpg |--- 1_timestamp.jpg |--- 2_timestamp.jpg |--- ... |--- lidars |--- local_motion_pcd |--- 0_timestamp.pcd |--- 1_timestamp.pcd |--- 2_timestamp.pcd |--- ... |--- point_cloud_map |--- *.ply |--- Metadata.xml |--- first_global_xyz_lla.txt |--- POS |--- cam-0.ptb |--- cam-1.ptb |--- cam-2.ptb |--- cam-3.ptb |--- cam-4.ptb |--- lidar_pose.ptb |--- pano_pose.ptb |--- 2023-12-21-02-59-46 |--- ... |--- *.ply |--- Metadata.xml

智驾模型列表相关操作 智驾模型列表可以进行以下操作。 表1 智驾模型列表相关操作 任务 操作步骤 编辑模型 单击操作栏中的“编辑”，编辑智驾模型。仅支持修改描述信息。初始模型不支持编辑。 删除模型 单击操作栏中的“删除”，删除智驾模型。初始模型不支持删除。 查看模型详情 单击模型名称，查看模型详情。 在模型详情页，查看模型基本信息和模型版本列表。可以对模型版本进行“模型微调”、“创建在线服务”和“删除”操作。 说明： 初始模型不支持“创建在线服务”和“删除”。 只有“创建成功”的模型版本支持“模型微调”和“创建在线服务”。 查询模型 在搜索输入框中输入搜索条件，按回车键即可查询。

2D预标注类别列表 表2 2D预标注类别 功能 类别 目标检测 可行驶区域 车道线 车位线 路沿 地面标识 减速带 消防栓 柱子 地锁 限位块 警示物 骑行者 行人 车辆 其他车辆 两轮车 车道线检测 白虚线 黄虚线 白实线 黄实线 路沿线 停止线 语义分割（混合） 成年人 手推车 面包车 工程车 卡车 公交车 小汽车 骑行者 停车线 直行右转箭头 右转导向箭头 左转导向箭头 直行导向箭头 禁停止线 水马 锥桶 矮墙 隔音墙 路面栅栏 消防栓 斑马线 路沿 导流线 路面字符 其它导向箭头 减速带 停止线 双实线 双虚线 虚线 黄实线 实线 柱子 井盖 限位块 地锁 杆状物 臂障

2D图像列表相关操作 在2D图像列表，还可以进行以下操作。 表1 2D图像列表相关操作 任务 操作步骤 搜索模型生成的2D图像 在搜索框中输入关键字搜索相关2D图像生成作业名称。 查看模型生成的2D图像详情 单击模型生成的2D图像生成作业名称，即可查看模型生成的2D图像详情页。 图5 2D图像详情 显示位置框：可选择是否显示位置框。 下载图片：鼠标悬停图片，可选择单张下载图片至本地。 删除图片：可选择单张或批量删除图片。 清理失效图片：如果有失效的图片，可选择单击右上角“清理失效图片”，清理失效图片。 终止模型生成2D图像 单击操作栏的“终止”，即可终止状态为“执行中”的模型。 删除模型生成的2D图像 单击操作栏的“删除”，即可删除模型生成的2D图像信息。 说明： 删除后无法恢复，请谨慎操作。（OBS中的图片数据需用户手动清理。）。

模型微调任务相关操作 在模型微调任务列表页，还可以完成以下操作。 表1 模型微调任务管理相关操作 任务 操作步骤 查看任务详情 单击任务名称，在任务详情页面查看模型微调任务详情，包括任务基本信息、参数详情以及任务日志。 停止任务 当任务状态为“排队中”或“运行中”时，可单击操作栏内的“停止”，进行停止任务操作。 复制任务 单击操作栏内的“复制”，可基于现有任务创建新任务。 单个删除任务 单击操作栏内的“删除”可单个删除任务。模型微调任务删除后无法恢复，请谨慎操作。 批量删除任务 勾选名称前面的复选框，单击列表左上角的“删除”，可批量删除任务。模型微调任务删除后无法恢复，请谨慎操作。 查询模型微调任务 在搜索输入框中输入搜索条件，按回车键即可查询目标任务。

采样结果 如下图1和图2所示，对于某个逻辑场景进行拉丁超立方和蒙特卡洛采样，参数都是符合随机特性，但采样得到的值不相同。 对于同样的采样点数，拉丁超立方采样的结果会更加分散，并且边界值会更多。 图4 蒙特卡洛采样结果 图5 拉丁超立方采样结果 对于离散型参数，联合概率分布采样会根据给定的取值列表进行随机采样。 图6 离散型参数-联合概率分布采样结果 对于连续型参数，联合概率分布采样会根据参数分布和相关系数进行采样。 图7 连续型参数-联合概率分布采样结果 对于重要性采样，联合概率分布采样会在边界附近进行采样。 图8 重要性采样结果

回放图层 在回放图层区域，可以选择不同图层，多层次观看3D回放视频。 真值物体：包含选项有真值物体类型及ID、物体模型，可控制真值物体显示或隐藏。 预测算法：可显示或隐藏除主车以外，他车的朝向前的行驶轨迹。 定位算法：可显示或隐藏主车的定位（通过算法计算出的信息）和真值（实际信息）的坐标信息。 规控算法：可显示或隐藏“主车局部规划轨迹”和“主车全局规划轨迹”。 高精地图：显示“路面”、“车道线”、“车道参考线”、“中心车道线”、“交通信号”，可控制对应功能显示或者隐藏。 动态场景：显示场景trigger信息，目前支持设置了Distance，ReachPosition，End Of Road，Collision，OffRoad，Time Head Way，Time To Collision，Acceleration，StandStill，Speed，Relative Speed，Traveled Distance，Relative Distance这几类trigger。地图会以的图标展现，鼠标单击图标时，地图中会出现trigger的详细信息。 当有trigger作用于某个交通参与物时，且该trigger自身没有position。该交通参与物模型上会显示trigger图标。（注：Time To Collision类型的trigger可能包含position信息，但是该position代表目标位置，不是其本身位置，所以此类trigger也会显示在交通参与物上）。 一个trigger作用于多个交通参与物时，涉及到的交通参与物都会带有trigger图标。 一个交通参与物带有多个trigger时，只会显示一个trigger图标，鼠标悬浮上去，会在右上角列出所有trigger的内容。

感知物体类型 由于各类仿真器对交通参与物类型的覆盖面不同，可能产生仿真器不支持某种类型，或仿真器与仿真回放中类型不匹配。 以下模型均为副车的颜色，主车ego的颜色为白色，其他车比主车颜色更深。 表2 车辆和行人 类别 标签 三维感知框/未选中 三维感知框/选中 3D模型 未知车辆/其他车辆/小型车/紧凑型轿车/中型车/豪华车 送货车/重型卡车/半挂式拖车/拖车 行人 公交车 未知/其他/轮椅 摩托车/自行车 电车/火车 暂无 动物 暂无 表3 交通信号 类型 名称 图标 信号灯 红黄绿灯 方向灯-箭头向上 方向灯-箭头向左 方向灯-箭头向前向左 方向灯-箭头向右 方向灯-箭头向前向右 交通标识牌 注意安全 人行横道 两侧变窄 右侧变窄 左侧变窄 减速让行 停车让行 禁止驶入 禁止掉头 禁止停车 禁止长时停放 注意落石

内置评测信号参数 表1 内置评测信号参数 内置评测信号参数 对应中文 speedX 纵向速度 speedY 侧向速度 accX 纵向加速度 accY 侧向加速度 speedYaw 横摆速度 relativeYaw 相对车道中心线偏离角 lateralOffset 相对车道中心线偏离距离 relativeSpeed 相对前车的速度 relativeDistance 相对前车的距离 TH 相对前车车头时距 TTC 相对前车ttc rmsAccX 纵向加速度均方根值 rmsAccY 侧向加速度均方根值 varianceSpeed 速度方差

仿真任务结果 仿真算法的质量由仿真结果呈现，仿真服务模块以自动驾驶过程中关键指标的检测结果为依据对仿真算法进行评测，回放可查看场景，信号查看器是对仿真结果的展示。 仿真任务结果展示可以有以下几种，按钮可单击条件判断为如下：（如果文件不存在，界面会报错提示） 回放按钮：录制模式下即可单击。 算法日志按钮：录制模式下，关联了算法的情况下可单击。 评测日志按钮：录制模式下，关联了自定义评测镜像的情况下可单击。 仿真pb文件按钮：录制模式下可单击。 评测pb文件按钮：任何模式下都可单击。 信号查看器按钮：任何模式下都可单击。 算法pb文件按钮：录制模式下使用使用自定义算法，并开启Datahub才可单击下载。 所有可下载的结果均不建议使用过长场景名称，如果场景名过长，浏览器会有文件名截取行为，具体截取长度因浏览器、操作系统以及文件下载路径不同而有所区别，以实际情况为准。

任务配置相关操作 在“任务配置”列表，可对仿真任务配置进行以下操作。 表3 任务配置相关操作 任务 操作步骤 查看算法详情 单击该任务配置所使用的算法名称，即可查看算法详情。无算法接入时页面显示“--”，使用仿真器自带的驾驶员模型控制主车。 查看评测详情 单击该任务配置所使用的评测名称，即可查看评测详情。 查看任务配置详情 单击任务配置名称，可查看任务配置详情。 图6 任务配置详情 查询任务配置 可按照＂任务配置ID＂、＂任务配置名称＂、＂算法名称＂、＂评测名称＂、＂任务配置描述＂查询任务配置。 删除任务配置 单击操作栏“ 删除”，删除该任务配置。删除后不可恢复，请谨慎操作。 编辑任务配置 单击操作栏“编辑”，以修改任务配置名称和描述信息。

并行仿真 Octopus平台的并行仿真模块分为任务配置和仿真任务两部分。用户在任务配置模块，可使用自研仿真算法，根据Octopus自研仿真评测体系，从行车安全、驾驶行为、乘员舒适性等多维度测评在多种条件下的仿真场景中控制算法控制质量。在仿真任务模块，可将仿真任务运行中关键指标变化绘制成图表，直观形象，也可在仿真任务结束后评测报告可下载至本地查看。 任务配置 仿真任务 3D回放 排队任务管理 信号查看器 场景回放 父主题： 仿真服务

标签管理相关操作 在“标签管理”界面，还可以进行以下操作。 表1 标签管理相关操作 任务 操作步骤 新建根标签 单击“新增标签”，输入标签名称。 新建标签 单击标签后的，输入标签名称。 修改标签 单击标签后的，可对标签的名称进行修改。 删除标签 单击标签后的，可删除标签或其子节点标签。 说明： 平台预置场景标签暂不支持编辑、删除。 导出标签 单击根标签后的，可导出标签至本地。 搜索标签 在搜索框输入搜索内容，可模糊搜索标签。 多项搜索：可根据需要决定是否启用多项搜索，输入多个关键字，中间用“;”隔开，可搜索多个关键字。

用例管理 在测试用例的详情页，可以进行以下操作： 查看测试用例详情。 单击用例名称查看该用例详细信息。 图1 测试用例详情 编辑测试脚本。 可根据需要添加测试脚本，在测试用例详情页，单击测试脚本后面的“编辑”，编辑脚本类型。 图2 编辑测试脚本 用例发布。 当用例状态为“编辑中”时，用例详情页面，单击用例名称后“发布”，可对用例进行发布。 关闭用例。 当用例状态为“已发布”时，用例详情页面，单击用例名称后“关闭用例”，可对用例进行关闭。 修改用例。 单击用例名称，进入用例详情页，单击右上角“编辑”，即可修改用例信息。 用例状态为＂已关闭＂和＂已发布＂时，不支持编辑用例基本信息。 用例编辑中/发布/关闭的使用逻辑： 测试用例在被创建时的默认状态是编辑中，当测试用例中的场景和测试脚本以及其他相关信息都确认达到测试条件时，可以选择发布测试用例，发布后的测试用例才能被用于创建仿真任务，并且用例一旦发布，就不允许删除，从而保证测试结果的可追溯。当发布后的测试用例后续不会再进行测试时，可以选择关闭测试用例，关闭后的测试用例不能用于创建仿真任务，并且同样关闭后的测试用例不能被删除，从而保证结果的可追溯性。 父主题： 测试用例管理

套件用例相关操作 在“用例列表”，还可以进行以下操作。 表2 套件用例相关操作 任务 操作步骤 在线查看用例 单击用例列表后的操作栏中的“查看场景”，可选择在线仿真器，在线查看用例。 复用用例 单击操作栏中“另存为”，输入名称，即可生成另一个名称的用例。 删除用例 单击操作栏中“从套件中删除”，删除用例，删除后无法恢复，请谨慎操作。 查询用例 在页面右侧，可按照“用例名称”、“用例ID”查询用例，也可在搜索框中输入搜索内容对用例进行查询。

敏感性分析 Octopus平台支持基于参数组合、回归训练、敏捷性评定三个参数空间分析得到的敏感性分析结果，主要对逻辑场景的参数空间进行敏感性分析。在泛化任务完成的批量仿真任务后加上敏感性分析，然后把敏感性分析结果展现在新的泛化任务创建界面上，来帮助客户更好调节参数创建泛化任务。 进入到创建泛化任务界面，参数设置，选择参数设置后的“灵敏度分析”。 图5 灵敏度分析 选择关联到该逻辑场景下泛化任务的仿真任务。 图6 选择仿真任务 单击“确定”，界面出现上次任务的敏感性分析结果，展示每个参数的灵敏度参数，该值的范围在[0,1]，该值越大，说明该参数的变化对评测分数的影响越大。 图7 泛化参数 用户可根据敏感性分析结果，设置当前各项参数的数值。

逻辑场景相关操作 在“逻辑场景列表”，还可以进行以下操作。 表1 逻辑场景相关操作 任务 操作步骤 查询逻辑场景 选择“逻辑场景名称”、“场景ID”或“创建人”，在搜索输入框中输入搜索条件，按回车键即可查询。也可按照＂标签筛选＂查询场景具体可参考标签筛选。 删除逻辑场景 单击逻辑场景名称后操作栏内的“ 删除”，删除该场景。 勾选多个逻辑场景前勾选框，单击场景列表上方的“删除”，可批量删除场景。 说明： 被任务使用的逻辑场景不可被删除。 编辑逻辑场景 单击操作栏中的“编辑”，可编辑逻辑场景基本信息。 查看逻辑场景详情 单击逻辑场景名称，可查看逻辑场景详情。 基本信息：场景名称、创建时间，解析状态等信息。 场景参数：包括动态场景、静态场景信息，可单击文件列表后的“下载”或“替换文件”，将文件下载本地或替换场景文件。 泛化任务：平台支持逻辑场景生成泛化任务，具体操作参考泛化任务。 场景预览：根据场景文件的不同情况，场景预览会以不同的方式呈现。详见场景预览。

场景预览 场景预览当前有两种呈现方式：动态场景预览和地图场景预览。 动态场景预览：版本为OpenSCENARIO1.1.1的场景预览，存在完整的逻辑场景文件时显示。 地图场景预览：逻辑场景文件缺失或部分缺失，逻辑场景文件解析失败或其他不支持动态场景预览的情况时显示。 动态场景预览 逻辑场景的动态场景预览同具体场景的动态场景预览相同，可参考具体场景的动态场景预览。 地图场景预览 逻辑场景的地图场景预览同具体场景的地图场景预览相同，可参考具体场景的地图场景预览。

逻辑场景管理 逻辑场景功能可批量生成仿真场景，扩充仿真场景库，为自动驾驶开发提供海量仿真场景。自定义逻辑场景的可以进行修改、删除操作，并支持仿真器A和仿真器B。创建泛化场景时，由于仿真器A的不同版本之间存在主车id不固定的问题，为了保证规控算法和评测算法能正确判断找到主车，泛化的场景文件的主车名称（name)字段应该为Ego。 逻辑场景中场景是完全独立存储与使用的，在逻辑场景生成的泛化场景非常多，其中有价值的场景比例低，如果存储到场景中会对场景模块造成冲击，当前如果认为逻辑场景中保存的个别场景价值高，可以采用下载场景文件到本地再上传到场景模块的方式保留该逻辑场景。 逻辑场景 泛化场景 父主题： 场景管理

逻辑场景库相关操作 在“逻辑场景库”页签，还可进行以下操作。 表1 逻辑场景库相关操作 任务 操作步骤 查看逻辑场景库信息 单击左侧逻辑场景库名称，查看右侧该场景库信息以及场景库包含场景信息。 场景库信息：场景库名称、创建人、描述和创建时间等信息。 场景列表：该逻辑场景库中包含的所有场景。逻辑场景的具体操作请参考逻辑场景管理。 修改逻辑场景库信息/逻辑场景库分类信息 单击场景库名称或场景库分类后的，修改逻辑场景库或场景库分类的信息。 删除逻辑场景库/逻辑场景库分类 单击场景库名称或场景库分类后的，删除指定逻辑场景库或场景库分类。 查询逻辑场景 根据“逻辑场景名称”或“创建人”，输入搜索条件，查询逻辑场景列表中的场景。

场景预览 场景预览当前有两种呈现方式：动态场景预览和地图场景预览。 动态场景预览：场景文件中存在完整的地图文件和动态场景文件，且动态场景文件为.xosc格式时显示。 地图场景预览：场景文件缺失或部分缺失，动态场景文件为.xml格式，场景文件解析失败或其他不支持动态场景预览的情况时显示。 动态场景预览 图6 动态场景预览页面 表2 动态场景预览页面详细说明 序号 区 域名 称 说明 1 动态场景预览区域 车辆的行驶轨迹，随着主车的行驶感知在主车辆周围出现的其他物体，如其他车辆、行人和交通信号等。目前可感知的物体类型请见感知物体类型。鼠标移动至道路时，道路会变红。遇到信号灯，车辆会按照红绿灯指示行驶。 2 交通参与物状态 可根据需要选择显示参与物状态。当前支持的参与物有参考线、车道、车道线、中心车道、交通信号、Trigger。 默认勾选Trigger，当出现时，单击图标，地图中会出现trigger的详细信息。 交通信号包含信号灯和交通标识牌。 3 视频播放控件 控制视频播放暂停回放按钮，支持逐帧和倍速播放。地图文件超过1MB不支持高倍速预览。 4 场景切换 视角切换：跟车、俯视、驾驶，自由。当在3D回放页面拖动鼠标时，即可切换为自由视角。 2D/3D切换：可单击“2D/3D”，可切换2D，3D场景。 地图场景预览 图7 地图场景预览页面 表3 地图场景预览页面详细说明 序号 区域名称 说明 1 地图场景预览区域 鼠标上下滚动，可以放大缩小图片，鼠标左键可旋转图片，右键可拖动图片。 2 交通参与物状态 可根据需要选择显示参与物状态。当前支持的参与物有参考线、车道、车道线、中心车道、信号灯。 3 场景刷新 单击右下方加号、减号和刷新按钮，放大、缩小、还原地图。

场景库相关操作 在“场景库”页签，可对场景库进行以下操作。 表1 场景库相关操作 任务 操作步骤 查看场景库信息 单击左侧场景库名称，查看右侧该场景库信息以及场景库包含场景信息。 场景库信息：场景库名称、创建人、仿真器、描述、关联仿真任务数和创建时间等信息。 场景列表：该场景库中包含的所有场景。场景的具体操作请参考场景管理。 修改场景库信息/场景库分类信息 单击场景库名称或场景库分类后的，修改场景库或场景库分类的信息。 删除场景库/场景库分类 单击场景库名称或场景库分类后的，删除指定场景库或场景库分类。 查询场景 根据“场景名称”或“创建人”，输入搜索条件，查询场景列表中的场景。

场景和场景库 其中片段式场景仿真是自动驾驶系统测试的重要手段，当前业内对于片段式场景普遍遵循ASAM主导的OpenX系列标准。OpenSCENARIO对动态驾驶环境进行了描述，交通参与物之间通过其他物体的状态变化作为触发条件，进而改变自身的状态。 通过OpenX场景可对算法与环境的动态交互能力进行测试，场景库的目的则是将一批有相同测试目的的场景进行汇总，如想测试Acc算法的应对切入功能，可将多个应对切入的测试场景归到一个场景库，进而在创建仿真任务时可直接选择该场景库进行仿真。

逻辑场景和逻辑场景库 逻辑场景是基于状态空间变量对功能场景的进一步详细描述，每个逻辑场景都有场景参数，比如前车车速及其加速度，自车与前车距离等参数，这些参数都有一定的取值范围，根据这些参数可以派生出任意数量的具体场景。 逻辑场景库是不同逻辑场景的数据集合，以树状结构的形式表现出来，便于对逻辑场景进行统一的、有效的组织、管理和应用，比如当用户想系统管理和方便查看超车的逻辑场景，可以将所有超车相关的逻辑场景加入一个场景库中。

测试用例和测试套件 如上所述，OpenSCENARIO场景能描绘动态环境的，但无法根据主车内部动力学状态、自动驾驶算法状态作为触发条件来驱动各个交通参与物变化，因此为了实现更加精细的测试控制，需要额外提供一个测试脚本实现与仿真器中的交通参与物和算法内部数据的交互。 图1 测试用例和测试套件 如上图所述，测试脚本能同时监听RDB和AD算法的内部数据，如通过RDB判断主车与前车距离小于20m，可发送某个控制信号给算法改变esp状态，也可以通过SCP指令控制场景中的副车改变运动姿态。 测试脚本很大程度上弥补了单纯场景仿真的不足，能够实现以算法内部信号为触发条件，改变仿真场景中交通参与物的状体和算法内部状态。 因此，在场景的基础上，添加与该场景相匹配的测试脚本，就形成了一个测试用例。也就是说，测试用例是一个场景和测试脚本的集合。 同样，测试套件是将测试目的相同的测试用例归到一起，方便创建仿真任务时直接选择。

延时评测 图2 延时评测 如上图所示，延时评测以仿真pb文件作为输入，进行评测逻辑处理后，将评测结果写成评测pb。 其中仿真pb是通过八爪鱼提供的sim_osi.proto进行序列化和反序列化，评测pb是通过八爪鱼提供的eva.proto进行序列化和反序列化的。 延时评测算法的实现有如下几个步骤： 在代码内通过SIM_OSI_PATH环境变量获取仿真pb路径，通过EVA_PATH环境变量获取评测pb路径。 通过文件Open的方式打开仿真pb路径，读取字节流，利用sim_osi.proto中的SimData反序列化仿真pb中的内容。该步骤会得到一个SimData的内存对象，用户通过访问对象中的字段即可获取自己关注的数据。 SimData中包含仿真器输出的整个仿真过程数据，用户处理根据自身评测逻辑处理所有帧数据。 用户自定义的评测指标包含通过，不通过等结果，将该结果写入到eva.proto中的Evaluation类中，然后通过文件Open的形式打开评测pb路径，将评测结果写成评测pb文件。 写成评测pb文件后，延时评测镜像的工作就完成了，仿真平台的控制程序在运行自定义评测容器时会主动将评测pb文件上传到对象存储中，前端通过下载该评测pb文件进行解析，可以将自定义评测结果和内置评测结果一样完全兼容地进行展示。 评测算法代码开发完成后，将代码构建成算法镜像上传到仿真平台评测管理模块即可被仿真任务使用。在制作评测算法镜像的Dockerfile中，建议将评测代码编译成的二进制文件COPY到系统的/usr/bin目录下，便于在前端界面填写评测镜像的运行命令时直接填写该二进制文件的名称即可。在镜像中新建一个shell脚本来运行评测代码也是可以接受的方案。

实时评测 图1 实时评测 实时评测的基本架构如上图所示，实时评测算法从仿真器和AD算法按帧接收数据，每接收一帧数据，就调用一次评测函数，在最后仿真结束时将评测结果写成评测pb文件。 实时评测的实现包括如下几个步骤： 代码内实现与仿真器的通信，实时接收仿真器的帧数据，也可同时接收仿真器和AD算法的数据。 处理每帧数据，不断更新评测结果。 仿真结束时，将最后一帧的评测结果作为最终的评测结果，通过EVA_PATH环境变量获取评测pb路径，经评测结果写入到评测pb文件中。

评分方案介绍 Octopus评测指标共有30多项大类指标，当规控算法未通过某些评测指标后，评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类： 主要指标（以下简称A类）。 次要指标（以下简称B类）。 未定义重要度指标（以下简称C类）。 本设计提供如下三种内置的评分方案： AB类log函数评分。 AB类均匀权重评分。 C类均匀权重评分。 接下来对三种评分方案进行详细介绍。 父主题： 评测分数计算介绍