检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
评测管理 Octopus支持内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真任务中的算法展开评测。 图1 评测管理流程图 内置评测配置 自定义评测镜像 评测列表 内置评测指标说明 评测分数计算介绍 实时评测和延时评测介绍 父主题： 仿真服务
模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别，如识别车辆、行人、可行区域等对象。 评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题： 训练服务
模型评测 创建评测脚本 创建评测任务 父主题： 训练服务
评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重（Average）评分方案 C类均匀权重评分（Average）方案 父主题： 评测管理
该指标关联的内置可视化时间序列数据为：speedX，accX。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明
C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑
换道持续时间检测不通过。 该指标关联的内置可视化时间序列数据为：暂无。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明
期望的预警次数； 默认期望的预警次数为-1，此时只要该预警功能激活至少一次，则评测项通过；当设置期望的预警次数为正数或0时（0代表期望预警功能不被激活），只有当预警功能激活次数和期望预警次数相同时，评测项才通过； 该指标仅对有算法pb的场景有效。当算法pb中未设置预警项，或预警项
管理NLP大模型评测任务 管理评测任务 在评测任务列表中，任务创建者可以对任务进行克隆（复制评测任务）、启动（重启评测任务）和删除操作。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”，可进行如下操作：
驾驶员状态监测系统 抬头显示系统 夜视辅助系统 其实现逻辑与预警系统激活（Warning）检测、控制辅助系统激活（Control）检测一致。 父主题： 内置评测指标说明
创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下： 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测脚本”页签，单击“新建评测脚本”，填写脚本信息。 图1 新建评测脚本 名称：只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。
选择数据集：用户选择评测使用的数据集。如果选择内置评测选项，数据集不支持视图格式。选择数据集时无法预览到视图数据。 选择自定义评测和内置指标评测（“自定义评测”和“内置指标评测”至少选择一项）。 图3 选择自定义评测和内置指标评测 自定义评测： 评测脚本：可选，如果用户有其他自定义评测脚本，可勾选该项将选择的脚本路
的数据。 评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板：使用预置的专业数据集进行评测。 单个评测集：由用户指定评测指标（F1分数、准去率、BLEU、Rouge）并上传评测数据集进行评测。 选择“单个评测集”时需要上传待评测数据集。 评测结果存储位置
看评测任务的基本信息及评测概览。 其中，各评测指标说明详见NLP大模型评测指标说明。 导出评测报告。 在“评测报告 > 评测明细”页面，单击“导出”，可选择需要导出的评测报告，单击“确定”。 单击右侧“下载记录”，可查看导出的任务ID，单击操作列“下载”，可将评测报告下载到本地。
希亚思课堂智能评测系统，通过多维度、多模态地分析学生的课堂行为，最终从学生角度对课堂的教学效果，提出客观有效的评价。同时还提供了无感考勤、自动巡课等多种有效功能。希亚思课堂智能评测系统，将过去以评价上课老师教学水平为主的教育评测视角，转向了受教育者的主体——学生。该系统的评测指标，是依
则可以判定主车发生逆向行驶。 该指标关联的内置可视化时间序列数据为：暂无。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明
0,0)。 该指标关联的内置可视化时间序列数据为：暂无。 该指标的异常时间点记录类型为：POINT_TYPE_NORMAL。 父主题： 内置评测指标说明
限速检测的目的是判断主车的车速是否超过道路默认限速。 本设计采用最大默认限速120km/h。 该阈值可通过前端进行自定义配置。 父主题： 内置评测指标说明
AB类log函数评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。
了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
