AI开发平台ModelArts-使用MaaS评测模型:创建评测任务

时间：2025-01-26 10:50:48

AI开发平台ModelArts

在“模型评测”页面右上角，单击“创建评测任务”进入创建页面，配置相关信息。

表1 创建模型评测任务
参数		说明
任务设置	评测任务名称	默认名称为：Eval-当前时间戳-四位随机字符。您可以按需修改。支持100字符。
任务设置	描述	评测任务简介。支持1000字符。
选择服务	模型类型	默认为“文本生成”。
	选择服务	单击“添加服务”，在“选择模型服务”对话框，单击“预置服务”或者“我的服务”页签，选择目标服务，单击“确定”。最多可以添加10个服务。说明：评测不单独计费，预置服务评测将消耗Token，我的服务评测将以部署计费为准。
	API Key	输入API Key。调用模型服务进行评测需要使用API Key鉴权。您可以在ModelArts Studio控制台左侧导航栏的“鉴权管理”页面创建API Key。
评测配置	评测类型	默认为“自动评测”。
资源设置	评测规则	默认为“基于规则”，表示基于相似度或准确率进行打分，对比模型预测结果与标注数据的差异，适合标准选择题或简单问答场景。
	评测数据集	单击“添加评测数据集”，选择目标数据集，单击“确定”。最多可以添加10个预置评测数据集。
	评测结果保存位置	选择评测结果的OBS存放路径。