AI开发平台MODELARTS-准备代码:模型软件包结构说明

时间:2024-12-09 20:36:13

模型软件包结构说明

本教程需要使用到的AscendCloud-3rdLLM-xxx.zip软件包中的关键文件介绍如下。
├──llm_tools           #推理工具包
   ├──llm_evaluation  #推理评测代码包
     ├──benchmark_eval   # 精度评测
          ├── config  
                ├── config.json  # 请求的参数,根据实际启动的服务来调整
                ├── mmlu_subject_mapping.json  # 数据集配置
                ├── ...
          ├── evaluators
                ├── evaluator.py # 数据集数据预处理方法集
                ├── model.py  # 发送请求的模块,在这里修改请求响应。目前支持vllm.openai,atb的tgi模板
                ├── ...
          ├── eval_test.py  # 启动脚本,建立线程池发送请求,并汇总结果
          ├── service_predict.py  # 发送请求的服务。支持vllm的openai,atb的tgi模板
          ├── ...
     ├──benchmark_tools  #性能评测
          ├── benchmark.py    # 可以基于默认的参数跑完静态benchmark和动态benchmark
          ├── benchmark_parallel.py  # 评测静态性能脚本
          ├── benchmark_serving.py   # 评测动态性能脚本
          ├── benchmark_utils.py     # 抽离的工具集
          ├── generate_datasets.py    # 生成自定义数据集的脚本
          ├── requirements.txt       # 第三方依赖
          ├── ...
├──llm_inference  #推理代码
          ├── ascend_vllm_adapter  #昇腾vLLM使用的算子模块
          ├── ascend.txt   #基于开源vLLM适配过NPU的patch脚本
          ├── autosmoothquant_ascend.txt   #基于开源autosmoothquant适配过NPU的patch脚本
          ├── build.sh     #推理构建脚本
          ├── requirements.txt       # 第三方依赖
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1966.html