自动驾驶云服务 OCTOPUS-评测对比:文本格式约定

时间：2024-10-30 16:07:55

自动驾驶云服务 OCTOPUS 模型评测

文本格式约定

文本对比：支持TXT、JSON文件格式。
图5 文本对比

报告对比：用户自定义评测结果如果需要使用报告对比功能，需满足Octopus格式要求，仅支持JSON文件格式，并且需要满足以下格式要求。

表2 报告对比格式要求
名称	说明	示例
kind	文件标识符，e-res表示评测结果可进行评测对比	e-res
spec	评测结果内容JSON格式支持简单指标结果、带类别复杂指标结果、折线图结果	{“accuracy”: 0.21, “fp”: 1.0, “fn”: 1.0}

简单指标结果
```
{ 
    "accuracy": 0.21, 
    "fn": 1.0,
    "fp": 1.0,
 }
```
简单键值对，键表示指标名称，值表示该指标对应的评测结果数值。
带类别复杂指标结果
```
{ 
    "ap": [{"Car": 0.2, "Truck": 0.4}, 0.3], 
    "precision": [{"Car": 0.8, "Truck": 0.7}, 0.75],
    "recall": [{"Car": 0.8, "Truck": 0.9}, 0.85],
 }
```
键值对，键表示指标名称，值为字典或列表。当值为列表时，第一项为各类别对应的该指标评测结果字典，第二项为所有类别的指标均值。当值为字典时，仅包含上述第一项。
折线图类指标结果
```
{ 
    "pr_curve": {
    "Car": [
        [0.0, 0.2, 0.4, 0.6, 0.8, 1.0],
        [1.0, 1.0, 0.8, 0.8, 0.6, 0.4]
    ] 
    }
 }
```
键值对，键表示指标名称，值为字典或列表。当值为列表时，第一项为各类别对应的该指标评测结果字典，第二项为所有类别的指标均值。当值为字典时，仅包含上述第一项。

以上各种类型可混合使用，参考完整示例如下：

{ 
    "kind": "e-res",  
     "spec": { 
      "accuracy": 0.21, 
      "fn": 1.0,
      "fp": 1.0,
      "ap": [{"Car": 0.2, "Truck": 0.4}, 0.3], 
      "precision": [{"Car": 0.8, "Truck": 0.7}, 0.75],
      "recall": [{"Car": 0.8, "Truck": 0.9}, 0.85],
      "pr_curve": {
      "Car": [
          [0.0, 0.2, 0.4, 0.6, 0.8, 1.0],
          [1.0, 1.0, 0.8, 0.8, 0.6, 0.4]
      ] 
      }
      } 
 }

上一篇：自动驾驶云服务 OCTOPUS-评测对比:评测对比相关操作

下一篇：自动驾驶云服务 OCTOPUS-评测对比:评测对比相关操作