AI开发平台MODELARTS-推理场景介绍:模型软件包结构说明

时间：2024-11-05 09:54:21

AI开发平台MODELARTS 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

模型软件包结构说明

本教程需要使用到的AscendCloud-6.3.906中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。

|——AscendCloud-LLM
 ├──llm_inference  # 推理代码
    ├──ascend_vllm 
          ├── vllm_npu       # 推理源码
          ├── ascend_vllm-0.4.2-py3-none-any.whl   # 推理安装包
          ├── build.sh                 # 推理构建脚本
          ├── vllm_install.patch       # 社区昇腾适配的补丁包
 ├──llm_tools           # 推理工具包
   ├──AutoSmoothQuant  # W8A8量化工具
          ├── ascend_autosmoothquant_adapter  # 昇腾量化使用的算子模块
          ├── autosmoothquant                 # 量化代码
          ├── build.sh                        # 安装量化模块的脚本
   ├──awq              # W4A16量化工具
        ├──convert_awq_to_npu.py   # awq权重转换脚本 
   ├──llm_evaluation    # 推理评测代码包
      ├──benchmark_tools    #性能评测
          ├── benchmark.py     # 可以基于默认的参数跑完静态benchmark和动态benchmark
          ├── benchmark_parallel.py   # 评测静态性能脚本
          ├── benchmark_serving.py    # 评测动态性能脚本
          ├── benchmark_utils.py      # 抽离的工具集
          ├── generate_datasets.py    # 生成自定义数据集的脚本
          ├── requirements.txt        # 第三方依赖
      ├──benchmark_eval #精度评测
          ├──opencompass.sh       #运行opencompass脚本
          ├──start.sh             #安装opencompass脚本
          ├──vllm_api.py          #启动vllm api服务器
          ├──vllm.py             #构造vllm评测配置脚本名字

上一篇：AI开发平台MODELARTS-部署推理服务:Step3 上传代码包和权重文件

下一篇：AI开发平台MODELARTS-推理场景介绍:支持的模型列表和权重文件