AI开发平台ModelArts-推理精度测试:约束限制

时间:2025-02-12 15:14:10

约束限制

  • 确保容器可以访问公网。
  • 当前的精度测试仅适用于语言模型精度验证,不适用于多模态模型的精度验证。多模态模型的精度验证,建议使用开源MME数据集和工具(GitHub - BradyFU/Awesome-Multimodal-Large-Language-Models at Evaluation)。
  • 配置需要使用的NPU卡,例如:实际使用的是第1张和第2张卡,此处填写为“0,1”,以此类推。
    export ASCEND_RT_VISIBLE_DEVI CES =0,1
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91128.html