华为云首页用户手册

AI开发平台MODELARTS-推理精度测试:使用MME精度测评工具

AI开发平台MODELARTS-推理精度测试:使用MME精度测评工具

时间：2025-01-24 14:45:17

AI开发平台MODELARTS

使用MME精度测评工具

支持多模态模型精度测试。目前支持模型：llava, llava-next, minicpm，qwen-vl, internvl2, qwen2-vl.

MME数据集获取
 请用户自行获取MME评估集，将MME评估集放于llm_tools/llm_evaluation/mme_eval/data/eval/
获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation/mme_eval目录中，代码目录结构如下。
```
mme_eval
├──metric.py        #MME精度测试脚本
├──MME.sh           #运行MME脚本
```
启动脚本：
```
export MODEL_PATH=/data/nfs/model/InternVL2-8B/ 
export MME_PATH=/llm_tools/llm_evaluation/mme_eval/data/eval/MME
export MODEL_TYPE=internvl2
export OUTPUT_NAME=internvl2-8B 
export ASCEND_RT_VISIBLE_DEVI CES ="0:1:2:3:4:5:6:7"
bash MME.sh
```
参数说明:
1. MODEL_PATH：模型权重路径，默认为空；
2. MME_PATH：MME数据集路径,默认当前路径；
3. MODEL_TYPE：模型类型；
4. OUTPUT_NAME：输出结果文件名称，默认llava；
5. ASCEND_RT_VISIBLE_DEVICES：表示支持多个模型服务实例,同时支持模型并行，如 0,1:2,3 默认0卡;
6. QUANTIZATION：为量化选项，不传入默认为None即不启用量化；支持w8a8、w8a16，需配套对应的权重使用。
7. GPU_MEMORY_UTILIZATION：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。
  脚本运行完成后，测试结果输出在终端。

上一篇：AI开发平台MODELARTS-推理精度测试:约束限制

下一篇：AI开发平台MODELARTS-推理精度测试:约束限制

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-推理精度测试:使用MME精度测评工具

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题