AI开发平台MODELARTS-LLaVA模型基于DevServer适配PyTorch NPU推理指导(6.3.906):Step4 准备推理环境

时间:2024-09-24 10:50:11

Step4 准备推理环境

  1. 获取LLaVA模型代码。
    cd ${container_work_dir}
    unzip AscendCloud-6.3.906-xxx.zip
    unzip AscendCloud-AIGC-6.3.906-xxx.zip
    cd multimodal_algorithm/LLAVA/llava-inference/5d8f1760c08b7dfba3ae97b71cbd4c6f17d12dbd
    bash build.sh
    cd LLaVA
    mkdir ./playground/data/eval
  2. 下载llava-v1.5-13b模型。下载地址:liuhaotian/llava-v1.5-13b at main (huggingface.co)
    图1 下载llava-v1.5-13b模型
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_01208.html