AI开发平台MODELARTS-场景介绍:获取软件

时间：2024-03-26 14:27:29

AI开发平台MODELARTS Baichuan-13B（PyTorch）vLLM基于DevServer推理部署

获取软件

表1 软件名称
软件名称	说明	下载地址
Ascend-cann-atb_7.0.0_linux-aarch64_abi0.run	推理依赖软件	https://ascend-cloud-llm-infer-ops.obs.cn-southwest-2.myhuaweicloud.com/version_packages/atb_llm_7.0.T61.B010.tar
Ascend-cann-llm_7.0.0_linux-aarch64_torch2.0.1-abi0.tar.gz	推理依赖软件
ascendcloud-llmframework_6.3.902_.tar.gz 说明：这里的表示具体的时间戳。	Ascend-vllm插件	获取路径：Support网站。说明：如果没有软件下载权限，请联系您所在企业的华为方技术支持下载获取。
Baichuan-13b	从Huggingface下载的预训练权重文件	https://huggingface.co/baichuan-inc/Baichuan-13B-Base https://huggingface.co/baichuan-inc/Baichuan-13B-Chat （推荐）

下载完毕后的权重文件夹包含以下内容，此处以Baichuan-13b-chat为例。

Baichuan-13B-Chat
├── Baichuan-13B 模型社区许可协议.pdf
├── Community License for Baichuan-13B Model.pdf
├── config.json
├── configuration_baichuan.py
├── generation_config.json
├── generation_utils.py
├── gitattributes.txt
├── handler.py
├── modeling_baichuan.py
├── model.safetensors.index.json
├── pytorch_model-00001-of-00003.bin
├── pytorch_model-00002-of-00003.bin
├── pytorch_model-00003-of-00003.bin
├── pytorch_model.bin.index.json
├── quantizer.py
├── README.md
├── requirements.txt
├── special_tokens_map.json
└── tokenization_baichuan.py

上一篇：分布式消息服务KAFKA版-Kafka业务迁移:实施步骤（方案二：同时消费，后迁生产）

下一篇：对象存储服务 OBS-修订记录