AI开发平台MODELARTS-推理精度测试:Step2 查看精度测试结果

时间:2024-12-10 16:15:49

Step2 查看精度测试结果

默认情况下,评测结果会按照result/{model_name}/的目录结果保存到对应的测试工程。执行多少次,则会在{model_name}下生成多少次结果。benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/...目录下,查找到summmary目录,有txt和csv两种保存格式。总体打分结果参考txt和csv文件的最后一行,举例如下:

npu:
mmlu:46.6
gpu:
mmlu:47

NPU打分结果(mmlu取值46.6)和GPU打分结果(mmlu取值47)进行对比,误差在1%以内(计算公式:(47-46.6)/47*100=0.85%)认为NPU精度和GPU对齐。

support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_900928.html