云服务器内容精选

华为云首页用户手册

模型评测

自动驾驶云服务 OCTOPUS-评测对比:评测对比相关操作

评测对比相关操作在“评测对比”列表，可对任务进行以下操作。表1 评测对比相关操作任务操作步骤查找对比任务在搜索输入框中输入搜索条件，按回车键即可查询。查看对比任务详情单击对比任务名称，可在对比任务详情页查看该评测对比详情、报告对比、任务日志。评测对比详情：任务ID、名称、描述、状态等信息。文本对比：单击“文本对比”，查看或下载评测对比任务对比文本。报告对比：单击“报告对比”，查看或下载评测对比任务在运行过程中生成的报告。任务日志：单击“任务日志”，查看或下载评测对比任务在运行过程中生成的所有日志。删除对比任务单击操作栏的“删除”，删除单个对比任务。勾选多个任务，单击列表上方的“删除”，可批量删除对比任务。重建任务单击操作栏内的“重建”，输入新对比任务名称（以“任务组名-自定义名称”的形式），同时可重新选择需要修改的参数。停止任务单击对比任务后的“停止”，停止评测对比任务。

自动驾驶云服务 OCTOPUS 模型评测
自动驾驶云服务 OCTOPUS-评测对比:文本格式约定

文本格式约定文本对比：支持TXT、JSON文件格式。图5 文本对比报告对比：用户自定义评测结果如果需要使用报告对比功能，需满足Octopus格式要求，仅支持JSON文件格式，并且需要满足以下格式要求。表2 报告对比格式要求名称说明示例 kind 文件标识符，e-res表示评测结果可进行评测对比 e-res spec 评测结果内容JSON格式支持简单指标结果、带类别复杂指标结果、折线图结果 {“accuracy”: 0.21, “fp”: 1.0, “fn”: 1.0} 简单指标结果 { "accuracy": 0.21, "fn": 1.0, "fp": 1.0, } 简单键值对，键表示指标名称，值表示该指标对应的评测结果数值。带类别复杂指标结果 { "ap": [{"Car": 0.2, "Truck": 0.4}, 0.3], "precision": [{"Car": 0.8, "Truck": 0.7}, 0.75], "recall": [{"Car": 0.8, "Truck": 0.9}, 0.85], } 键值对，键表示指标名称，值为字典或列表。当值为列表时，第一项为各类别对应的该指标评测结果字典，第二项为所有类别的指标均值。当值为字典时，仅包含上述第一项。折线图类指标结果 { "pr_curve": { "Car": [ [0.0, 0.2, 0.4, 0.6, 0.8, 1.0], [1.0, 1.0, 0.8, 0.8, 0.6, 0.4] ] } } 键值对，键表示指标名称，值为字典或列表。当值为列表时，第一项为各类别对应的该指标评测结果字典，第二项为所有类别的指标均值。当值为字典时，仅包含上述第一项。以上各种类型可混合使用，参考完整示例如下： { "kind": "e-res", "spec": { "accuracy": 0.21, "fn": 1.0, "fp": 1.0, "ap": [{"Car": 0.2, "Truck": 0.4}, 0.3], "precision": [{"Car": 0.8, "Truck": 0.7}, 0.75], "recall": [{"Car": 0.8, "Truck": 0.9}, 0.85], "pr_curve": { "Car": [ [0.0, 0.2, 0.4, 0.6, 0.8, 1.0], [1.0, 1.0, 0.8, 0.8, 0.6, 0.4] ] } } }

自动驾驶云服务 OCTOPUS 模型评测