AI开发平台MODELARTS-昇腾云服务6.3.906版本说明:支持的特性

时间：2024-09-07 17:47:12

AI开发平台MODELARTS

支持的特性

表1 本版本支持的特性说明
分类	软件包特性说明	参考文档
三方大模型，包名：AscendCloud-LLM	支持如下模型适配PyTorch-NPU的训练。 llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b	LLM开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906） LLM开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906）
三方大模型，包名：AscendCloud-LLM	支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B ascend-vllm支持如下推理特性： vllm版本升级至0.4.2 llama、qwen系列模型支持w8a8、w4a16量化支持prefix caching、投机推理特性	LLM开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906） LLM开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
AIGC，包名：AscendCloud-AIGC	支持如下框架或模型基于DevServer的PyTorch NPU推理： ComfyUI LLaVA Qwen-VL Wav2Lip 支持如下模型基于DevServer的PyTorch NPU的训练： Qwen-VL LLaVA	SDXL&SD1.5 ComfyUI插件基于DevServer适配PyTorch NPU推理指导（6.3.906） LLaVA模型基于DevServer适配PyTorch NPU推理指导（6.3.906） Qwen-VL基于DevServer适配Pytorch NPU的推理指导(6.3.906) Wav2Lip基于DevServer适配PyTorch NPU推理指导（6.3.906） LLaVA模型基于DevServer适配PyTorch NPU训练指导（6.3.906） Qwen-VL基于DevServer适配Pytorch NPU训练指导(6.3.906)
算子，包名：AscendCloud-OPP	Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景新增random随机数算子，优化FFN算子，满足AIGC等场景新增自定义交叉熵融合算子，满足BMTrain框架训练性能要求优化PageAttention算子，满足vllm投机推理场景新增CopyBlocks算子，满足vllm框架beam search解码场景	无