该解决方案有何用途?
该解决方案基于华为云Flexus云服务器X实例帮助您快速部署EvalScope模型性能评测应用。EvalScope 是一个开源模型评测与性能基准测试框架,专为多样化模型评估需求设计。它支持多种类型的模型评测,包括大语言模型(LLM)、多模态模型、Embedding 模型、Reranker 模型和 CLIP 模型等,适用于端到端 RAG 评测、竞技场模式、模型推理性能压测等多种评测场景。
方案架构
该解决方案帮助您在华为云Flexus云服务器X实例(弹性云服务器 ECS)上快速搭建EvalScope模型性能评测平台。
架构描述
架构描述
-
创建一个弹性公网IP EIP,用于提供访问公网和被公网访问能力
-
创建一台Flexus云服务器X实例(弹性云服务器 ECS),用于搭建EvalScope模型性能评测平台
-
创建一个安全组,通过配置安全组规则,为云服务器提供安全防护