检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理NLP大模型评测任务 管理评测任务 在评测任务列表中，任务创建者可以对任务进行克隆（复制评测任务）、启动（重启评测任务）和删除操作。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”，可进行如下操作：
看评测任务的基本信息及评测概览。 其中，各评测指标说明详见NLP大模型评测指标说明。 导出评测报告。 在“评测报告 > 评测明细”页面，单击“导出”，可选择需要导出的评测报告，单击“确定”。 单击右侧“下载记录”，可查看导出的任务ID，单击操作列“下载”，可将评测报告下载到本地。
的数据。 评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板：使用预置的专业数据集进行评测。 单个评测集：由用户指定评测指标（F1分数、准去率、BLEU、Rouge）并上传评测数据集进行评测。 选择“单个评测集”时需要上传待评测数据集。 评测结果存储位置
限速检测的目的是判断主车的车速是否超过道路默认限速。 本设计采用最大默认限速120km/h。 该阈值可通过前端进行自定义配置。 父主题： 内置评测指标说明
选择数据集：用户选择评测使用的数据集。如果选择内置评测选项，数据集不支持视图格式。选择数据集时无法预览到视图数据。 选择自定义评测和内置指标评测（“自定义评测”和“内置指标评测”至少选择一项）。 图3 选择自定义评测和内置指标评测 自定义评测： 评测脚本：可选，如果用户有其他自定义评测脚本，可勾选该项将选择的脚本路
创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下： 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测脚本”页签，单击“新建评测脚本”，填写脚本信息。 图1 新建评测脚本 名称：只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。
AB类log函数评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。
该指标关联的内置可视化时间序列数据为：speedX，accX。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明
斜角侧碰。 该指标关联的内置可视化时间序列数据为：暂无。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明
换道持续时间检测不通过。 该指标关联的内置可视化时间序列数据为：暂无。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明
C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑
期望的预警次数； 默认期望的预警次数为-1，此时只要该预警功能激活至少一次，则评测项通过；当设置期望的预警次数为正数或0时（0代表期望预警功能不被激活），只有当预警功能激活次数和期望预警次数相同时，评测项才通过； 该指标仅对有算法pb的场景有效。当算法pb中未设置预警项，或预警项
测不通过。 该指标关联的内置可视化时间序列数据为：暂无。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明
驾驶员状态监测系统 抬头显示系统 夜视辅助系统 其实现逻辑与预警系统激活（Warning）检测、控制辅助系统激活（Control）检测一致。 父主题： 内置评测指标说明
创建NLP大模型评测数据集 NLP大模型支持人工评测与自动评测，在执行模型评测任务前，需创建评测数据集。 评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“数据工程
了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以
不参与评分。 AB类均匀权重评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。
ccX。横向平顺性关联的内置可视化时间序列数据为：accY。 该指标的异常时间点记录类型为：POINT_TYPE_ALL。 父主题： 内置评测指标说明
则可以判定主车发生逆向行驶。 该指标关联的内置可视化时间序列数据为：暂无。 该指标的异常时间点记录类型为：POINT_TYPE_POINT。 父主题： 内置评测指标说明
0,0)。 该指标关联的内置可视化时间序列数据为：暂无。 该指标的异常时间点记录类型为：POINT_TYPE_NORMAL。 父主题： 内置评测指标说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
