华为云用户手册

操作场景 本节操作介绍atop和kdump的配置方法。 不同的Linux版本使用的atop工具版本不同，因此配置方法稍微有所不同。 配置atop： atop简介 atop安装前准备 CentOS 6系列操作系统配置atop CentOS 7/8、AlmaLinux、 Rocky Linux系列操作系统配置atop Ubuntu 16、Debian8系列操作系统配置atop Ubuntu 18、Debian 9系列操作系统配置atop Ubuntu 20、Debian 10系列操作系统配置atop Ubuntu 22/24系列操作系统配置atop Debian 11/12系列操作系统配置atop SUSE 15、SUSE 12系列操作系统配置atop 使用源码方式安装（适用于CentOS Stream 8/9、openEuler、EulerOS等系列操作系统） 分析atop日志 配置kdump： 配置kdump使用须知 kdump简介 配置kdump操作步骤 检查kdump配置是否生效

配置新用户并加入远程桌面用户组 如果配置“多个用户同时登录的多用户登录”，那么在创建完新用户后需要将其加入远程桌面用户组。本小节操作介绍创建新用户并添加用户到远程桌面用户组的操作步骤。 在运行中输入lusrmgr.msc，打开本地用户和组，进行新用户创建。 图15 lusrmgr.msc 单击“用户”，在空白处右键选择新用户。 图16 选择新用户 填写新用户的“用户名”和“密码”信息，单击“创建”。 “密码”和“确认密码”需完全一致。同时，建议您根据业务需要设置密码相关安全性属性。 图17 填写新用户信息 单击“组”，双击打开Remote Desktop Users组，单击“添加”。 图18 Remote Desktop Users组 进入选择用户界面，单击“高级”。 图19 选择用户界面 在新的选择用户界面，单击“立即查找”，在下方搜索结果中选中需要远程登录的用户，并单击“确定”，完成添加，即可远程登录。 图20 选择用户 图21 添加用户 单击“确定”，添加用户到Remote Desktop Users组。 图22 确认成员信息

安装桌面会话主机和远程桌面授权 登录Windows云服务器。 在操作系统界面，单击打开“服务器管理器”，单击“添加角色和功能”。 图1 添加角色和功能 保持默认参数，单击“下一步”，出现如下安装界面，选择“基于角色或基于功能的安装”，单击“下一步”。 图2 添加角色和功能向导 选择“从服务器池中选择服务器”，单击“下一步”。 选择“远程桌面服务”，单击“下一步”。 图3 远程桌面服务 在“功能”页面保持默认参数，单击两次“下一步”。 图4 功能页面 在 “选择角色服务” 界面，依次勾选“远程桌面会话主机”和“远程桌面授权 ”，在弹出的窗口中单击“添加功能”，单击“下一步”。 图5 添加功能 图6 远程桌面授权 确认在云服务器上安装的角色，单击“安装” 。 图7 安装 图8 功能安装 安装完成后，重启服务器。 图9 重启服务器

操作须知 请确保云服务器带宽资源充足，避免由于多用户同时操作负载过高导致云服务器卡顿或登录异常。 所在安全组入方向已开放云服务器登录使用的端口，默认使用3389端口。 云服务器已经绑定弹性公网IP。 配置多用户登录后，不同的用户登录云服务器操作互相之间无影响。 Windows Server 2008版本操作系统安装桌面会话主机和远程桌面授权时操作步骤与Windows Server 2012版本不同，如果您使用的是Windows Server 2008操作系统请参考Windows云服务器如何配置多用户登录？（Windows 2008）。 完成本节操作的配置后可以实现多个用户同时远程登录或同一用户多个远程登录。但是远程桌面授权仅支持120天，过期后将因缺失远程桌面授权服务器许可证而导致多用户登录无法使用。如需激活远程桌面授权请参考申请多用户会话授权的license并激活云服务器。 远程桌面授权仅支持120天，过期后远程连接服务器时会提示“没有远程桌面授权服务器可以提供许可证”，请参考远程连接Windows云服务器云主机报错：没有远程桌面授权服务器可以提供许可证，删除远程桌面服务。 配置多用户登录后，可能会出现多用户登录Windows主机时无法打开浏览器的问题，解决方法请参考多用户登录Windows主机时无法打开浏览器。

检查访问网站的请求是否得到响应 优化访问速度后，请在浏览器中重试打开需要访问的网站地址，如果网站可以正常打开，但仍然存在加载慢的情况，也可能是访问目标服务器存在丢包的情况，可以进一步通过执行ping -t 网站地址确认丢包情况。请参考Ping不通或丢包时如何进行链路测试？。 例如：ping -t www.example.com Windows操作系统也可自行下载安装curl客户端，请单击下载curl客户端，解压后，打开bin文件夹拷贝路径，配置环境变量即可。 如果有响应状态码说明请求已经发送并得到响应，那么推断加载缓慢可能是访问目标服务器丢包等因素导致。 您可以联系客服帮助您检查丢包问题。同时推荐您使用我们云连接服务，访问效果可以有效的改善。详细操作请参考基于云连接服务实现跨区域多VPC互通。

方法二：使用Ping检测工具和PingInfoView工具查找访问速度最快的服务器IP地址 您也可以通过修改hosts文件来优化访问速度，具体步骤如下： 使用管理员角色（Administrator）登录您的弹性云服务器。 通过浏览器访问Ping检测工具。我们以http://ping.chinaz.com为例。 输入想要访问的网站，进行Ping检测。我们以访问www.example.com为例，记录检测结果列表中响应时间最低的IP 。 下载PingInfoView，无需安装，解压后运行PingInfoView.exe即可使用。 打开PingInfoView，将通过步骤3获取到的IP地址复制到对应的输入框中，并单击OK。 复制搜索结果中延迟最低的IP地址。 打开C:\Windows\System32\drivers\etc\，将之前复制的IP地址以如下方式写入hosts文件的末尾。 hosts文件是操作系统的核心文件之一，请根据需要谨慎修改。 建议您备份hosts文件，您可以直接复制粘贴hosts文件生成一个副本。也可以复制hosts文件，将内容备份。 如果hosts文件里写明了DNS解析IP，那么只能使用这个IP解析网站地址。 修改hosts文件后如果再次出现卡顿想要重新替换IP，请先去掉hosts文件里关于网站的配置，然后重复执行本节的操作选取新的IP地址。 例如复制的ip地址为99.84.178.238，则将99.84.178.238 www.example.com写入到hosts文件的末尾，保存后关闭。 重新访问中国大陆外网站，则卡顿或无法访问的问题会有所好转。 若问题仍未解决，我们建议您更换中国大陆外区域的弹性云服务器。

方法一：使用ping命令判断访问速度最快的服务器IP地址 以下演示了Windows 2012操作系统、访问www.example.com为例、使用ping命令选择IP地址的示例。 图7 修改hosts文件来优化访问速度 详细的操作步骤如下： 以访问www.example.com为例，在命令行 ping www.example.com，查询ping结果。 图8 回显信息 重复执行多次 ping www.example.com，记录下一条TTL值最小、且稳定的IP地址。 请在ping的过程中执行ipconfig /flushdns刷新DNS解析缓存，否则会持续ping到同一个IP地址。 例如本例中选择的IP地址是93.184.216.34。 修改hosts文件。 打开C:\Windows\System32\drivers\etc\，将之前复制的IP地址以如下方式写入hosts文件末尾。 例如复制的IP地址为93.184.216.34，则将93.184.216.34 www.example.com写入到hosts文件的末尾，保存后关闭。 hosts文件是操作系统的核心文件之一，请根据需要谨慎修改。 建议您备份hosts文件，您可以直接复制粘贴hosts文件生成一个副本。也可以复制hosts文件，将内容备份。 如果hosts文件里写明了DNS解析IP，那么只能使用这个IP解析网站地址。 修改hosts文件后如果再次出现卡顿想要重新替换IP，请先去掉hosts文件里关于网站的配置，然后重复执行本节的操作选取新的IP地址。 重新访问中国大陆外网站，则卡顿或无法访问的问题会有所好转。 修改hosts文件只能优化访问速度，如果重试后问题仍未解决，我们建议您购买“中国-香港”区域的服务器。

处理方法 重新购买中国大陆外的弹性云服务器，例如“中国-香港”区域的云服务器 从物理距离与网络基础设施等因素考虑方面，如果您有访问中国大陆外网站的需求，我们建议您购买中国大陆外的弹性云服务器。 例如您可以在购买弹性云服务器时选择“中国-香港”区域的弹性云服务器。 图1 选择“中国-香港”区域 优化访问速度 您还可以按照本节的操作步骤优化访问速度。 修改DNS配置 修改hosts文件来优化访问速度 优化访问速度后，您可以进一步通过执行ping -t 网站地址确认丢包情况，详细操作请参考检查访问网站的请求是否得到响应。

修改hosts文件来优化访问速度 选择访问速度最快的服务器，并将其IP地址和 域名 写入hosts文件来优化访问速度。 我们有以下两种方法来判断访问速度最快的服务器IP地址： 使用ping命令判断访问速度最快的服务器IP地址。 具体操作请参考方法一：使用ping命令判断访问速度最快的服务器IP地址。 使用Ping检测工具和PingInfoView工具查找访问速度最快的服务器IP地址。 具体操作请参考方法二：使用Ping检测工具和PingInfoView工具查找访问速度最快的服务器IP地址。

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b PyTorch2.3.1： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241114095658-d7e26d8 MindSpore： swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_4_ascend:mindspore_2.4.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241113174059-fcd3700 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch2.3.1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是 CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)： llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-8B internvl2-26B internvl2-40B internVL2-Llama3-76B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.3 说明：具体模型支持的特性请参见大模型推理指导文档 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理（PyTorch框架）： ComfyUI Diffusers Stable-diffusion-webui Wav2Lip OpenSora1.2 OpenSoraPlan1.0 MiniCPM-V2.6 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练（PyTorch框架）： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llama-3.2-11b 文生图模型训练推理 文生视频模型训练推理 多模态模型训练推理 数字人模型训练推理 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Bert 支持如下模型适配PyTorch NPU的推理： Paraformer 内容审核 模型推理 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10） 无

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.911-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.909-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b llama3.1-8b llama3.1-70b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-0.5b qwen1.5-1.8b qwen1.5-4b qwen1.5-7b qwen1.5-14b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b falcon-11B glm4-9b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-26B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.0 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理： ComfyUI Diffusers Wav2Lip OpenSora1.2 OpenSoraPlan1.0 MiniCPM-V2.6 FLUX.1 Hunyuan-Dit Qwen-VL 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 FLUX.1基于DevServer适配PyTorch NPU推理指导 Hunyuan-DiT基于DevServer部署适配PyTorch NPU推理指导 InternVL2基于DevServer适配PyTorch NPU训练指导 MiniCPM-V2.6基于DevServer适配PyTorch NPU训练指导 Qwen-VL基于DevServer适配PyTorch NPU的Finetune训练指导 Qwen-VL基于DevServer适配PyTorch NPU的推理指导 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Yolov8基于DevServer适配MindSpore Lite推理指导 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 无

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 配套关系 Snt9B 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt9b-20240910112800-2a95df3 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_2_ascend:pytorch_2.2.0-cann_8.0.rc3-py_3.10-hce_2.0.2406-aarch64-snt9b-20240910150953-6faa0ed 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch_2.2.0 MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC3 如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR，从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3 -

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.912-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.912 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b qwen2_vl-72b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)： llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-8B internvl2-26B internvl2-40B internVL2-Llama3-76B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 gte-Qwen2-7B-instruct llava-onevision-qwen2-0.5b-ov-hf llava-onevision-qwen2-7b-ov-hf Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.3 支持流水线并行 说明：具体模型支持的特性请参见大模型推理指导文档 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于PyTorch NPU推理（PyTorch框架）： ComfyUI Diffusers Wav2Lip OpenSora1.2 OpenSoraPlan1.0 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 SD3 SD3.5 支持如下框架或模型基于PyTorch NPU的训练（PyTorch框架）： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llama-3.2-11b CogVideoX1.5 5b MiniCPM-V2.6 文生图模型训练推理 文生视频模型训练推理 多模态模型训练推理 数字人模型训练推理 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Bert 支持如下模型适配PyTorch NPU的推理： Paraformer 内容审核模型推理 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10） 无

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 PyTorch2.3.1： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 MindSpore： swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_4_ascend:mindspore_2.4.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241113174059-fcd3700 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch2.3.1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 配套关系 Snt9B 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch_2.2.0 MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC3 如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR，从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3 -

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-0.5b qwen1.5-1.8b qwen1.5-4b qwen1.5-7b qwen1.5-14b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-26B internvl2-40B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-7B qwen-vl qwen-vl-chat MiniCPM-v2 Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.0 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理： ComfyUI Diffusers Wav2Lip OpenSora1.2 OpenSoraPlan1.0 MiniCPM-V2.6 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 Open-Sora 1.2 基于DevServer适配PyTorch NPU训练推理指导 CogVideoX基于DevServer适配PyTorch NPU训练推理指导 LLama-VID基于DevServer适配PyTorch NPU推理指导 InternVL2基于DevServer适配PyTorch NPU训练指导 MiniCPM-V2.6基于DevServer适配PyTorch NPU训练推理指导 Qwen-VL基于DevServer适配PyTorch NPU的Finetune训练指导 LLaVA-Next基于DevServer适配PyTorch NPU训练指导 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Bert Yolov8基于DevServer适配MindSpore Lite推理指导 Bert基于DevServer适配MindSpore Lite推理指导 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 无

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.910-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(MindSpeed-LLM，原名ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2_vl-2b qwen2_vl-7b qwen2_vl-72b falcon-11B glm4-9b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b MiniCPM-2B MiniCPM3-4B LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导 LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)： llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llama-3.2-1B llama-3.2-3B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-8B internvl2-26B internvl2-40B internVL2-Llama3-76B internvl2.5-4B internvl2.5-8B internvl2.5-78B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 gte-Qwen2-7B-instruct bge-large-en-v1.5 bge-base-en-v1.5 llava-onevision-qwen2-0.5b-ov-hf llava-onevision-qwen2-7b-ov-hf Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持大小模型投机推理及eagle投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 升级vLLM 0.6.3 支持流水线并行 支持 input_embed输入 分离部署支持调优工具 说明：具体模型支持的特性请参见大模型推理指导文档 LLM开源大模型基于Lite Server适配PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于PyTorch NPU推理（PyTorch框架）： ComfyUI Diffusers Wav2Lip OpenSora1.2 OpenSoraPlan1.0 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 SD3 SD3.5 CogVideoX1.5 5b Cogvideo 5b 支持如下框架或模型基于PyTorch NPU的训练（PyTorch框架）： Qwen-VL Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llama-3.2-11b CogVideoX1.5 5b MiniCPM-V2.6 Bunny-Llama-3-8B-V 文生图模型训练推理 文生视频模型训练推理 多模态模型训练推理 数字人模型训练推理 CV，包名：AscendCloud-CV 支持如下模型适配MindSpore Lite的推理： Yolov8 Bert 支持如下模型适配PyTorch NPU的推理： Paraformer 内容审核模型推理 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10） 无

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.5.901-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.5.901 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 PyTorch2.3.1： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 MindSpore： swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_4_ascend:mindspore_2.4.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241113174059-fcd3700 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch2.3.1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动: 24.1.rc2.3 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(MindSpeed-LLM) qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b llama3.1-8b llama3.1-70b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b llama3.2-1b llama3.2-3b 支持如下模型适配PyTorch-NPU的训练(Llama-Factory) llama3.1-8b llama3.1-70b llama3.2-1b llama3.2-3b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b glm4-9b qwen2_vl-2b qwen2_vl-7b qwen2_vl-72b qwen2.5-vl-7b qwen2.5-vl-72b LLM开源大模型基于Lite Server适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)： QwQ-32B DeepSeek-R1-Distill-Llama-8B DeepSeek-R1-Distill-Llama-70B DeepSeek-R1-Distill-Qwen-1.5B DeepSeek-R1-Distill-Qwen-7B DeepSeek-R1-Distill-Qwen-14B DeepSeek-R1-Distill-Qwen-32B bge-reranker-v2-m3 internvl2.5-38B qwen2.5-vl-7B qwen2.5-vl-72B Ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持W4A16、W8A16和W8A8量化 升级vLLM 0.7.2 部分模型支持Reasoning Outputs 说明：具体模型支持的特性请参见大模型推理指导文档 LLM开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导 LLM开源大模型基于Standard适配PyTorch NPU推理指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导 AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于PyTorch NPU推理（PyTorch框架）： Stable Diffusion 1.5（Diffusers、ComfyUI） Stable Diffusion XL（Diffusers、ComfyUI） Stable Diffusion 3（Diffusers） Stable Diffusion 3.5（Diffusers、ComfyUI） Wav2Lip OpenSora1.2 OpenSoraPlan1.0 FLUX.1 Hunyuan-Dit Qwen-VL CogVideoX LLama-VID MiniCPM-V2.0 CogVideoX1.5 5b Cogvideo 5b Deepseek Janus-Pro 1b Deepseek Janus-Pro 7b Wan2.1 1.3b Wan2.1 14b 支持如下框架或模型基于PyTorch NPU的训练（PyTorch框架）： Qwen-VL Stable Diffusion 1.5（Diffusers、Kohya_ss） Stable Diffusion XL（Diffusers、Kohya_ss） Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 CogVideoX LLaVA-NeXT LLaVA MiniCPM-V2.0 FLUX.1 Llama-3.2-11b CogVideoX1.5 5b MiniCPM-V2.6 Bunny-Llama-3-8B-V 文生图模型训练推理 文生视频模型训练推理 多模态模型训练推理 数字人模型训练推理 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10） 无

配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 Snt9B PyTorch2.1.0： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.0-py_3.10-hce_2.0.2412-aarch64-snt9b-20250207103006-97ebd68 PyTorch2.3.1： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：24.1.0.6 CANN：cann_8.0.rc3、8.0.0.B100 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch2.3.1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是CCE Turbo v1.28及以上

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.5.902-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP 获取路径：Support-E，在此路径中查找下载ModelArts 6.5.902版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 total Integer 录像文件总数量 records Array of ListDeviceRecordFilesResp objects 录像列表 表5 ListDeviceRecordFilesResp 参数 参数类型 描述 record_name String 录像文件名称：长度范围[1,32] record_type String 录像类型：枚举类型 枚举值： NORMAL_RECORD 全量： 录像计划产生的录像 MOTION_RECORD 动检： 移动侦测产生的录像 AL RAM _RECORD 告警： 智能分析，目标分析等告警输入产生的录像 start_time String 录像开始时间：格式：yyyy-MM-dd HH:mm:ss end_time String 录像结束时间：格式：yyyy-MM-dd HH:mm:ss

URI GET /v1/{user_id}/devices/{device_id}/channels/{channel_id}/device-records 表1 路径参数 参数 是否必选 参数类型 描述 user_id 是 String 用户ID：由数字组成，长度范围[15,25]，获取方式参考获取user ID与下载AK/SK章节 device_id 是 String 设备ID： 好望设备：大小写字母、数字组成，长度范围[8,32]，可在设备外壳或者设备web页面上获取 国标设备：由数字组成，长度固定为20个字符长度，由客户自行设置，其中第11-13位，必须是以下之一132（IPC）、111（DVR）、118（NVR），用来区分设备类型 channel_id 是 String 通道ID： 好望设备：取值范围[0,999] 国标设备：由数字组成，长度为20个字符，由客户自行在设备侧设置，可以在web界面获取 表2 Query参数 参数 是否必选 参数类型 描述 start_time 是 String 开始时间：格式如：yyyy-MM-dd HHmmss end_time 是 String 结束时间：格式如：yyyy-MM-dd HHmmss limit 否 String 单页数量：取值范围[1,1000]，不填写时默认值为 10 offset 否 String 偏移量：offset为0时表示查询第一页的数据，取值范围[0,1000000]，不填写时默认值为 0

响应示例 状态码： 200 查询设备的录像列表（国标）响应 { "total" :0, "records" : [ { "record_name" : "录像1", "record_type" : "NORMAL_RECORD", "start_time" : "2020-06-12 17:31:00", "end_time" : "2020-06-16 17:31:00" } ] }