AI开发平台MODELARTS-昇腾云服务6.3.911版本说明:支持的特性

时间：2024-12-18 08:55:12

AI开发平台MODELARTS 产品发布说明

支持的特性

表1 本版本支持的特性说明
分类	软件包特性说明	参考文档
三方大模型，包名：AscendCloud-LLM	支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b	LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导
三方大模型，包名：AscendCloud-LLM	支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-8B internvl2-26B internvl2-40B internVL2-Llama3-76B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 Ascend-vllm支持如下推理特性：支持分离部署支持多机推理支持大小模型投机推理及eagle投机推理支持chunked prefill特性支持automatic prefix caching 支持multi-lora特性支持W4A16、W8A16和W8A8量化升级vLLM 0.6.0	LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导
AIGC，包名：AscendCloud-AIGC	支持如下框架或模型基于DevServer的PyTorch NPU推理： ComfyUI Diffusers Stable-diffusion-webui Wav2Lip OpenSora1.2 OpenSoraPlan1.0 MiniCPM-V2.6 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Qwen-VL Diffusers Koyha_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llmma-3.2-11b	AIGC模型训练推理数字人模型训练推理
CV，包名：AscendCloud-CV	支持如下模型适配MindSpore Lite的推理： Yolov8 Bert	Bert基于DevServer适配MindSpore Lite 推理指导 Yolov8基于DevServer适配MindSpore Lite推理指导
算子，包名：AscendCloud-OPP	Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景支持random随机数算子，优化FFN算子，满足AIGC等场景支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求优化PageAttention算子，满足vllm投机推理场景支持CopyBlocks算子，满足vllm框架beam search解码场景支持AdvanceStep算子，满足vllm投机推理场景多个融合算子支持PTA图模式适配，满足AIGC场景支持两种版本配套算子包（torch2.1.0和python3.9, torch2.3.1和python3.10）	无