AI开发平台ModelArts-准备代码:模型软件包结构说明

时间：2025-01-26 10:50:48

AI开发平台ModelArts

模型软件包结构说明

本教程需要使用到的AscendCloud-6.3.911中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。

|——AscendCloud-LLM ├──llm_inference  # 推理代码    ├──ascend_vllm           ├── vllm_npu       # 推理源码          ├── ascend_vllm-0.6.3-py3-none-any.whl   # 推理安装包          ├── build.sh                 # 推理构建脚本          ├── vllm_install.patch       # 社区昇腾适配的补丁包          ├── Dockerfile               # 推理构建镜像dockerfile          ├── build_image.sh           # 推理构建镜像启动脚本 ├──llm_tools           # 推理工具包   ├──AutoSmoothQuant  # W8A8量化工具          ├── ascend_autosmoothquant_adapter  # 昇腾量化使用的算子模块          ├── autosmoothquant                 # 量化代码          ├── build.sh                        # 安装量化模块的脚本   ├──AutoAWQ              # W4A16量化工具        ├──convert_awq_to_npu.py   # awq权重转换脚本         ├──quantize.py   # 昇腾适配的量化转换脚本        ├──build.sh      # 安装量化模块的脚本   ├──llm_evaluation    # 推理评测代码包      ├──benchmark_tools    #性能评测          ├── benchmark.py     # 可以基于默认的参数跑完静态benchmark和动态benchmark          ├── benchmark_parallel.py   # 评测静态性能脚本          ├── benchmark_serving.py    # 评测动态性能脚本          ├── benchmark_utils.py      # 抽离的工具集          ├── generate_datasets.py    # 生成自定义数据集的脚本          ├── requirements.txt        # 第三方依赖      ├──benchmark_eval #精度评测          ├──opencompass.sh       #运行opencompass脚本          ├──install.sh             #安装opencompass脚本          ├──vllm_api.py          #启动vllm api服务器          ├──vllm.py             #构造vllm评测配置脚本名字

上一篇：AI开发平台ModelArts-准备代码:软件配套版本

下一篇：AI开发平台ModelArts-准备代码:软件配套版本