AI开发平台MODELARTS-推理场景介绍:模型软件包结构说明

时间：2024-09-14 22:29:31

AI开发平台MODELARTS 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.904）

模型软件包结构说明

本教程需要使用到的推理模型软件包和推理评测代码存放在如下目录中，关键文件介绍如下：

xxx-Ascend                #xxx表示版本号
├──llm_evaluation  #推理评测代码包
     ├──benchmark_eval   # 精度评测
          ├── config
                ├── config.json  # 请求的参数，根据实际启动的服务来调整
                ├── mmlu_subject_mapping.json  # 数据集配置
          ├── evaluators
                ├── evaluator.py # 数据集数据预处理方法集
                ├── model.py  # 发送请求的模块，在这里修改请求响应。目前支持vllm.openai，atb的tgi模板
          ├── eval_test.py  # 启动脚本，建立线程池发送请求，并汇总结果
          ├── service_predict.py  # 发送请求的服务。支持vllm的openai，atb的tgi模板
          ├── ...
     ├──benchmark_tools  #性能评测
          ├── benchmark.py    # 可以基于默认的参数跑完静态benchmark和动态benchmark
          ├── benchmark_parallel.py  # 评测静态性能脚本
          ├── benchmark_serving.py   # 评测动态性能脚本
          ├── benchmark_utils.py     # 抽离的工具集
          ├── generate_datasets.py    # 生成自定义数据集的脚本
          ├── requirements.txt       # 第三方依赖
          ├── ...
├──llm_inference  #推理代码
          ├── ascend_vllm_adapter  #昇腾vLLM使用的算子模块
          ├── ascend.txt   #基于开源vLLM适配过NPU的patch脚本
          ├── build.sh     #推理构建脚本
          ├── requirements.txt       # 第三方依赖

上一篇：AI开发平台MODELARTS-部署推理服务:Step1 检查环境

下一篇：AI开发平台MODELARTS-推理场景介绍:支持的模型软件包和权重文件