检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下： 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测脚本”页签，单击“新建评测脚本”，填写脚本信息。 图1 新建评测脚本 名称：只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。
C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑
AB类log函数评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。
了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以
不参与评分。 AB类均匀权重评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。
步骤三：创建评测 Octopus支持自定义内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”，填写基本信息。 图1 新建评测 评测名称：只能包
了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以
真结束，将结束时的这帧的评测结果作为最终的评测结果，通过EVA_PATH环境变量获取评测pb路径，将评测结果写入到评测pb文件中。 写成评测pb文件后，自定义实时评测镜像的工作就完成了。仿真平台的控制程序，会主动将自定义评测结果和内置评测结果融合后的评测pb文件上传到对象存储中，前端可通过下载pb文件进行解析。
模型数据集支持 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题： 模型评测
分类 Octopus 目录 标注文件目录结构 +--- 1628568066600 | +--- 1628568066600.jpg | +--- 1628568066600.json +--- 1628654064999 | +--- 1628654064999.jpg
评测算法的自研proto接口 背景 Octopus内置一套评测算法，用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义，序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示，目前控制台展示主要分为两大方面：
车道线检测 Octopus 目录 标注文件目录结构 +--- 1628568066600 | +--- 1628568066600.jpg | +--- 1628568066600.json +--- 1628654064999 | +--- 1628654064999
语义分割2D Octopus 目录 标注文件目录结构 +--- 1599625710056 | +--- 1599625710056.jpg | +--- 1599625710056.json +--- 1599625740054 | +--- 1599625740054
语义分割3D Octopus 目录 标注文件目录结构 +--- 1599625710056 | +--- 1599625710056.pcd | +--- 1599625710056.json +--- 1599625740054 | +--- 1599625740054
目标追踪3D Octopus 目录 标注文件目录结构 +--- 1611801018801 | +--- 1611801018801.json | +--- 1611801018801.pcd +--- 1611801024401 | +--- 1611801024401
目标追踪2D Octopus 目录 标注文件目录结构 +--- 1599625710056 | +--- 1599625710056.jpg | +--- 1599625710056.json +--- 1599625740054 | +--- 1599625740054
目标检测3D Octopus 目录 标注文件目录结构 +--- 1611801018801 | +--- 1611801018801.json | +--- 1611801018801.pcd +--- 1611801024401 | +--- 1611801024401
目标检测2D Octopus 目录 标注文件目录结构 +--- 1599625710056 | +--- 1599625710056.jpg | +--- 1599625710056.json +--- 1599625740054 | +--- 1599625740054
Octopus模型管理模块，支持用户上传模型，并将其用于模型评测、模型编译任务。如果需要将模型用于内置评测模板评测，除模型文件外，需另外包含推理启动文件： customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件，文件名称可自定义，将该文件置于模型目录下。
文件实现算法的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 评测项配置。 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像：请选择在“评测管理”服务中创建成功的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
