背景 Octopus内置一套评测算法，用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义，序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示，目前控制台展示主要分为两大方面： 各个评测指标的通过/未通过/无效的结果展示。 仿真过程中关键数据的时间序列曲线图展示。 另外，对于用户自研的评测算法的评测结果，也可以按照eva.proto，序列化成pb文件保存起来，这样Octopus的仿真平台前端能够展示用户自研评测算法的评测结果。

eva.proto的关键字段解释 在利用Octopus仿真平台进行批量仿真时，每个场景都会有一个评测结果，单个场景的评测结果全部保存在如数据类图所示的Evaluation类中。 Evaluation类包含以下的7个字段。 表1 Evaluation类包含的字段 字段 说明 version 用于表示当前Octopus_eva.proto的版本。 score 用户保存批量仿真中单个场景下评测算法计算出的评测得分，Octopus的评分取值为[0, 100]。 avg_speed 单个场景下自动驾驶算法控制下主车的平均车速，单位m/s。 distance 单个场景下自动驾驶算法控制下主车的行驶里程，单位m。 vis 主车关键状态量的（如速度、加速度）的时间序列数据，用于前端进行可视化曲线展示。 metrics Octopus内置了一批大类评测指标，并且每个大类评测指标下会多个子类指标。 该字段用于保存每个大类和子类评测指标的通过/未通过/无效的结果状态。 其中无效状态表示该指标在特定场景下是没意义的，如在没有交通灯的场景下，主车在交通灯前的行为检测是没有意义的。 source 是一个Source枚举类型，表示该评测算法的结果来源类型。 source共有6种类型，具体参考source。 表2 source 字段 说明 SOURCE_UNSPECIFIED 表示评测算法类型未定义。 SOURCE_CUSTOMIZED_REALTIME 用户自定义实时评测算法结果。 SOURCE_CUSTOMIZED_OFFLINE 用户自定义延时评测算法结果。 SOURCE_DEFAULT_REALTIME 八爪鱼内置实时评测算法结果。 SOURCE_DEFAULT_OFFLINE 八爪鱼内置延时评测结果。 SOURCE_MERGED 融合后的评测结果。 Evaluation中两个比较关键且复杂的字段是vis和metrics，其中vis字段类型是Visualization，metrics字段的类型是repeated Metric。 Visualization和Metric的成员组成如上数据类图所示，各个关键成员的含义如下所示。 Visualization类型包含的各个字段及其含义如下所示。 表3 Visualization类型字段 字段 说明 sim_times 仿真过程的时间序列点，以仿真开始时刻（t0）为0点，相邻时刻的时间间隔为仿真器的周期，单位为秒（s）。 frame_nums 每个仿真时刻对应的数据帧数，表明这是第几帧的数据。 stats 统计类型的数据值，是指某数据在一段时间内统计值才有展示分析的意义，如加速度均方根值（arms），随着仿真时刻不断后移，需要不断计算初始时刻（t0）到当前仿真时刻（t）的arms值。 stats字段的类型是Statistic，Statistic类型的成员具体参考stats。 vector 向量类型的数据值，是指每个时刻都会有一个对应的数据值，如加速度、速度等物理量。 vector字段的类型是Vector，Vector类型的成员具体参考vector。 表4 stats 字段 说明 type 是一个Type的枚举类型，表示该数据是哪种Octopus内置的Statistic类型。 value 该数据在每个仿真时刻对应的数值。 display_name 存储用户自定义的Statistic类型名称，用户自定义的数据无需对type赋值。 source 表示该数据的评测结果来源类型。 importance 表示该数据是重要类型还是次要类型。 module 表示该数据是来源于哪个算法模块。 performance 表示该数据是表示的哪个类别的算法性能。 表5 vector 字段 说明 type 是一个Type的枚举类型，表示该数据是哪种Octopus内置的Vector类型。 value 该数据在每个仿真时刻对应的数值。 display_name 存储用户自定义的Vector类型名称，用户自定义的数据无需对type赋值。 source 表示该数据的评测结果来源类型。 importance 表示该数据是重要类型还是次要类型。 module 表示该数据是来源于哪个算法模块。 performance 表示该数据是表示的哪个类别的算法性能。 Metric类型包含的各个字段及其含义如下所示。 表6 Metric类型字段 字段 说明 type 是一个Enum类型，表示该数据是哪种Octopus内置的大类指标类型。 status 是一个Result的枚举类型，用于表示该大类指标的评测结果。 其中Result有三种类型，分别为： RESULT_UNSPECIFIED：该状态的结果表示评测指标是无效的，如对于红绿灯检测指标，如果仿真完成后评测函数发现场景中不存在红绿灯，则该项指标的评测是没有意义的，故评测结果展示为无效。 RESULT_PASSED: 该状态的结果表示评测结果为通过。 RESULT_FAILED：该状态的结果表示评测结果为未通过。 anomalies 用于保存每个大类指标下对应的子类指标发生异常的时间点，其数据类型为repeated Anomaly，其中Anomaly类型成员如下所示： status: 是一个Result类型，与上述大类指标的status的表示相同，该字段用于存储子类指标的三种不同状态结果。 subtype：是一个Subtype的枚举类型，表示该子类指标是哪种Octopus内置的子类指标类型。 其中，对于某些没有子类指标的大类指标来说，其subtype赋值为SUBTYPE_UNSPECIFIED。 point_type：是一个PointType的枚举类型，表示该子类指标发生特殊状态（一般是指发生异常）时的时刻点用哪种形式存储起来。 其中PointType共有5种类型，参考PointType。 Points：是repeated float类型，保存每个子类指标发生特殊状态的具体时间点的值。 Stats_indices：是repeated ui32类型，表示该子指标关联的统计类数值列表。 Vector_indices：是repeated ui32类型，表示该子指标关联的时间序列数值列表。 display_name 存储用户自定义的Anomaly类型名称，表示其自定义的子类指标，用户自定义的数据无需对sub_type赋值。 importance 表示该指标的重要程度。具体参考importance。 source 表示该数据的评测结果来源类型。 module 表示该数据是来源于哪个算法模块。具体参考module。 performance 表示该数据是表示的哪个类别的算法性能。具体参考performance。 表7 PointType 字段 说明 POINT_TYPE_UNSPECIFIED 未定义的类型，遵循proto定义格式，Octopus未使用该类型，用户可根据需要对该类型赋予特定含义。 POINT_TYPE_POINT 表示该子类指标的异常时间点是离散的时间点形式，在任何时刻都可能发生异常。 POINT_TYPE_REGION 表示该子类指标的异常时间点是区间形式，一旦在某个时刻开始发生异常，则在随后一段时间内都会处于异常状态。 POINT_TYPE_ALL 表示该类指标的异常时间点是布尔形式的，从仿真开始到当前时刻的状态要么是完全通过，要么全过程都是异常的，统计类型的指标需要以这种形式表示。 POINT_TYPE_NORMAL 该类型与其他类型相反，如果该类型的点存在，则表示对应的子类指标是通过的，Octopus用该类型保存主车到达终点的时间值。 表8 importance 字段 取值 说明 CATEGORY_UNSPECIFIED 0 未定义 CATEGORY_MAJOR 1 主要 CATEGORY_MINOR 2 次要 表9 module 字段 取值 说明 MODULE_UNSPECIFIED 0 未定义 MODULE_NAVIGATION 1 导航 MODULE_LOCATION 2 定位 MODULE_PERCEPTION 3 感知 MODULE_PREDICTION 4 预测 MODULE_DECISION 5 决策 MODULE_PLANNING 6 规划 MODULE_CONTROL 7 控制 MODULE_WHOLE 8 整车 表10 performance 字段 取值 说明 PERFORMANCE_UNSPECIFIED 0 未定义 PERFORMANCE_SAFETY 1 安全性 PERFORMANCE_REGULATION 2 合规性 PERFORMANCE_COMFORT 3 舒适性 PERFORMANCE_INTELLIGENCE 4 智能型

延时评测 仿真器输出的仿真过程数据会按照OSI的GroundTruth格式存储为pb文件，根据创建任务配置时是否选择使用datahub，该仿真pb有两种格式： 使用datahub时，该仿真pb的每帧数据是GroundTruth结构，然后按照OSI标准推荐的存储格式，先按小端顺序存储4个字节，该4个字节表示下一帧GroundTruth总的字节数，然后继续4个字节，更下一帧GroundTruth的字节数，以此类推。 未使用datahub时，该仿真pb按照sim_osi.proto定义的格式进行存储，所有仿真数据帧GroundTruth存储到一个列表字段“frames”中。 仿真平台定义了sim_osi.proto和eva.proto，用于支持用户自定义评测的功能，具体的proto字段说明见请联系接口人获取仿真服务的proto协议。

eva.proto的关键字段解释 在利用Octopus仿真平台进行批量仿真时，每个场景都会有一个评测结果，单个场景的评测结果全部保存在如数据类图所示的Evaluation类中。 Evaluation类包含以下的7个字段。 表1 Evaluation类包含的字段 字段 说明 version 用于表示当前Octopus_eva.proto的版本。 score 用户保存批量仿真中单个场景下评测算法计算出的评测得分，Octopus的评分取值为[0, 100]。 avg_speed 单个场景下自动驾驶算法控制下主车的平均车速，单位m/s。 distance 单个场景下自动驾驶算法控制下主车的行驶里程，单位m。 vis 主车关键状态量的（如速度、加速度）的时间序列数据，用于前端进行可视化曲线展示。 metrics Octopus内置了一批大类评测指标，并且每个大类评测指标下会多个子类指标。 该字段用于保存每个大类和子类评测指标的通过/未通过/无效的结果状态。 其中无效状态表示该指标在特定场景下是没意义的，如在没有交通灯的场景下，主车在交通灯前的行为检测是没有意义的。 source 是一个Source枚举类型，表示该评测算法的结果来源类型。 source共有6种类型，具体参考source。 表2 source 字段 说明 SOURCE_UNSPECIFIED 表示评测算法类型未定义。 SOURCE_CUSTOMIZED_REALTIME 用户自定义实时评测算法结果。 SOURCE_CUSTOMIZED_OFFLINE 用户自定义延时评测算法结果。 SOURCE_DEFAULT_REALTIME 八爪鱼内置实时评测算法结果。 SOURCE_DEFAULT_OFFLINE 八爪鱼内置延时评测结果。 SOURCE_MERGED 融合后的评测结果。 Evaluation中两个比较关键且复杂的字段是vis和metrics，其中vis字段类型是Visualization，metrics字段的类型是repeated Metric。 Visualization和Metric的成员组成如上数据类图所示，各个关键成员的含义如下所示。 Visualization类型包含的各个字段及其含义如下所示。 表3 Visualization类型字段 字段 说明 sim_times 仿真过程的时间序列点，以仿真开始时刻（t0）为0点，相邻时刻的时间间隔为仿真器的周期，单位为秒（s）。 frame_nums 每个仿真时刻对应的数据帧数，表明这是第几帧的数据。 stats 统计类型的数据值，是指某数据在一段时间内统计值才有展示分析的意义，如加速度均方根值（arms)，随着仿真时刻不断后移，需要不断计算初始时刻（t0）到当前仿真时刻（t）的arms值。 stats字段的类型是Statistic，Statistic类型的成员具体参考stats。 vector 向量类型的数据值，是指每个时刻都会有一个对应的数据值，如加速度、速度等物理量。 vector字段的类型是Vector，Vector类型的成员具体参考vector。 表4 stats 字段 说明 type 是一个Type的枚举类型，表示该数据是哪种Octopus内置的Statistic类型。 value 该数据在每个仿真时刻对应的数值。 diplay_name 存储用户自定义的Statistic类型名称，用户自定义的数据无需对type赋值。 source 表示该数据的评测结果来源类型。 importance 表示该数据是重要类型还是次要类型。 module 表示该数据是来源于哪个算法模块。 performance 表示该数据是表示的哪个类别的算法性能。 表5 vector 字段 说明 type 是一个Type的枚举类型，表示该数据是哪种Octopus内置的Vector类型。 value 该数据在每个仿真时刻对应的数值。 diplay_name 存储用户自定义的Vector类型名称，用户自定义的数据无需对type赋值。 source 表示该数据的评测结果来源类型。 importance 表示该数据是重要类型还是次要类型。 module 表示该数据是来源于哪个算法模块。 performance 表示该数据是表示的哪个类别的算法性能。 Metric类型包含的各个字段及其含义如下所示。 表6 Metric类型字段 字段 说明 type 是一个Enum类型，表示该数据是哪种Octopus内置的大类指标类型。 status 是一个Result的枚举类型，用于表示该大类指标的评测结果。 其中Result有三种类型，分别为： RESULT_UNSPECIFIED：该状态的结果表示评测指标是无效的，如对于红绿灯检测指标，如果仿真完成后评测函数发现场景中不存在红绿灯，则该项指标的评测是没有意义的，故评测结果展示为无效。 RESULT_PASSED: 该状态的结果表示评测结果为通过。 RESULT_FAILED：该状态的结果表示评测结果为未通过。 anomalies 用于保存每个大类指标下对应的子类指标发生异常的时间点，其数据类型为repeated Anomaly，其中Anomaly类型成员如下所示： status: 是一个Result类型，与上述大类指标的status的表示相同，该字段用于存储子类指标的三种不同状态结果。 subtype：是一个Subtype的枚举类型，表示该子类指标是哪种Octopus内置的子类指标类型。 其中，对于某些没有子类指标的大类指标来说，其subtype赋值为SUBTYPE_UNSPECIFIED。 point_type：是一个PointType的枚举类型，表示该子类指标发生特殊状态（一般是指发生异常）时的时刻点用哪种形式存储起来。 其中PointType共有5种类型，参考PointType。 Points：是repeated float类型，保存每个子类指标发生特殊状态的具体时间点的值。 Stats_indices：是repeated ui32类型，表示该子指标关联的统计类数值列表。 Vector_indices：是repeated ui32类型，表示该子指标关联的时间序列数值列表。 display_name 存储用户自定义的Anomaly类型名称,表示其自定义的子类指标，用户自定义的数据无需对sub_type赋值。 importance 表示该指标的重要程度。具体参考importance。 source 表示该数据的评测结果来源类型。 module 表示该数据是来源于哪个算法模块。具体参考module。 performance 表示该数据是表示的哪个类别的算法性能。具体参考performance。 表7 PointType 字段 说明 POINT_TYPE_UNSPECIFIED 未定义的类型，遵循proto定义格式，Octopus未使用该类型，用户可根据需要对该类型赋予特定含义。 POINT_TYPE_POINT 表示该子类指标的异常时间点是离散的时间点形式，在任何时刻都可能发生异常。 POINT_TYPE_REGION 表示该子类指标的异常时间点是区间形式，一旦在某个时刻开始发生异常，则在随后一段时间内都会处于异常状态。 POINT_TYPE_ALL 表示该类指标的异常时间点是布尔形式的，从仿真开始到当前时刻的状态要么是完全通过，要么全过程都是异常的，统计类型的指标需要以这种形式表示。 POINT_TYPE_NORMAL 该类型与其他类型相反，如果该类型的点存在，则表示对应的子类指标是通过的，Octopus用该类型保存主车到达终点的时间值。 表8 importance 字段 取值 说明 CATEGORY_UNSPECIFIED 0 未定义 CATEGORY_MAJOR 1 主要 CATEGORY_MINOR 2 次要 表9 module 字段 取值 说明 MODULE_UNSPECIFIED 0 未定义 MODULE_NAVIGATION 1 导航 MODULE_LOCATION 2 定位 MODULE_PERCEPTION 3 感知 MODULE_PREDICTION 4 预测 MODULE_DECISION 5 决策 MODULE_PLANNING 6 规划 MODULE_CONTROL 7 控制 MODULE_WHOLE 8 整车 表10 performance 字段 取值 说明 PERFORMANCE_UNSPECIFIED 0 未定义 PERFORMANCE_SAFETY 1 安全性 PERFORMANCE_REGULATION 2 合规性 PERFORMANCE_COMFORT 3 舒适性 PERFORMANCE_INTELLIGENCE 4 智能型

背景 Octopus内置一套评测算法，用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义，序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示，目前前端展示主要分为两大方面： 各个评测指标的通过/未通过/无效的结果展示。 仿真过程中关键数据的时间序列曲线图展示。 另外，对于用户自研的评测算法的评测结果，也可以按照eva.proto，序列化成pb文件保存起来，这样Octopus的仿真平台前端能够展示用户自研评测算法的评测结果。