AI开发平台MODELARTS-LLaVA模型基于DevServer适配PyTorch NPU推理指导（6.3.906）:Step6 开始推理

时间：2024-09-24 10:50:11

AI开发平台MODELARTS

进入解压后的源码包根目录。

cd ${container_work_dir}/multimodal_algorithm/LLAVA/llava-inference/5d8f1760c08b7dfba3ae97b71cbd4c6f17d12dbd/LLaVA

修改mme_8p.sh。需要将脚本里模型的路径更改为实际存放模型的路径(--model-path 模型路径)，同时检查数据集路径与实际保持一致(--question-file --image-folder --answers-file)。
```
vim ./scripts/v1_5/eval/mme_8p.sh
```

运行评估脚本。启动单卡。

ASCEND_RT_VISIBLE_DEVI CES =0 bash ./scripts/v1_5/eval/mme_8p.sh

启动8卡。可支持单机八卡推理，可以减短耗时。

ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 bash ./scripts/v1_5/eval/mme_8p.sh

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

AI开发平台MODELARTS-LLaVA模型基于DevServer适配PyTorch NPU推理指导（6.3.906）:Step6 开始推理

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24