AI开发平台MODELARTS-昇腾云服务6.3.T061版本说明:支持的特性

时间：2024-09-07 17:47:12

AI开发平台MODELARTS

表1 本版本支持的特性说明
分类	软件包特性说明	参考文档
三方大模型，包名：AscendCloud-3rdLLM	支持如下模型适配PyTorch-NPU的训练。 llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B	无
三方大模型，包名：AscendCloud-3rdLLM	支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b baichuan2-7b chatglm2-6b chatglm3-6b mistral-7b mixtral 87B 支持如下推理特性： llama系列推理支持bf16数据类型 llama系列推理支持w8a8、w4a16量化支持MoE-mixtral 87B推理 vllm推理框架支持prefix caching	无
算子，包名：AscendCloud-OPP	提供配套的推理量化算子	无