检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练脚本说明 yaml配置文件参数配置说明 各个模型深度学习训练加速框架的选择 模型NPU卡数取值表 各个模型训练前文件替换 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）
1,程序运行后，用npu-smi info 显示npu使用了X2.待程序结束后，用ps -aux 查看，无法找到此进程，但npu使用率并未降低3.想请问如何释放npu已经使用的内存
那么转过来，使用开发板自带的NPU进行加速推理，岂不是更加可行，而且它本身就是深度学习嵌入式板子，不用NPU真的可惜。 🏅问题来了：怎么使用NPU？在开发板上还是在自己的PC上？要安装什么环境？怎么安装？这些问题都需要依次考虑清楚。
修订记录 表1 修订记录 发布日期 修订记录 2024-10-30 第一次正式发布。
资源和成本规划 该解决方案主要部署如下资源，以下费用仅供参考，具体请参考华为云官网价格详情，实际收费以账单为准。 表1 成本预估 华为云服务 配置示例 每月预估花费 弹性云服务器 ECS 区域：西南-贵阳一 按需计费：0.31元/小时 规格：鲲鹏通用计算增强型 kc1 | 2核 |
实施步骤 准备工作 快速部署 开始使用 快速卸载
不满足以上场景，则不能实现NPU_Flash_Attn功能。 父主题： 训练脚本说明
不满足以上场景，则不能实现NPU_Flash_Attn功能。 父主题： 训练脚本说明
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。
环境描述 服务器信息： 华为云NPU Snt9B裸金属服务器 操作系统：Euler2.10 Arm 64bit 系统环境相关版本： NPU驱动版本为23.0.rc2、固件版本为6.4.12.1.241 2.
环境描述 服务器信息： 华为云NPU Snt9B裸金属服务器 操作系统：Euler2.10 Arm 64bit 系统环境相关版本： NPU驱动版本为23.0.1 2.
GPU/NPU Pod重建风险检查异常处理 检查项内容 检查当前集群升级重启kubelet时，节点上运行的GPU/NPU业务容器是否可能发生重建，造成业务影响。
之前装完驱动后，npu-smi ascend-smi可以正常使用，今天报错了，麻烦大家看一下
CCE AI套件（Ascend NPU）版本发布记录 表1 CCE AI套件（Ascend NPU）插件版本记录 插件版本 支持的集群版本 更新特性 2.1.23 v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 修复部分问题 2.1.22 v1.21
- DEMO内容：配置 CodeGeeX4 在华为 Ascend NPU、Kunpeng CPU 以及 OpenEuler 操作系统上的环境，确保其能够在这些硬件平台和操作系统中正常运行，并编写相应的测试用例代码以验证部署效果。
替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
快速卸载 手动卸载 删除制作镜像资源栈时需手动删除swr组织下的镜像，请按以下步骤操作，完成后方可执行一键卸载步骤。 访问容器镜像服务我的镜像管理页面，按下图所示，选择镜像名称，单击批量删除，在弹出的删除镜像确认框中输入DELETE，单击确定。 图1 SWR组织管理 一键卸载 登录资源编排
重启就会出现这种问题， 不重启电脑npu-smi info 可正常显示， 设置了重启自动setstatus softmode ，好像有时候重启不会出现npu-smi info 显示不出来的问题， 大部分时候会出现npu-smi info显示不出来的问题【截图信息】【日志信息】
npu_convert_dropout转换未出现错误， 但是在modelarts 平台上运行时会出现cannot import name 'npu_convert_dropout' from 'npu_bridge.estimator.npu' (unknown location
深度学习计算服务平台是中科弘云面向有定制化AI需求的行业用户，推出的AI开发平台，提供从样本标注、模型训练、模型部署的一站式AI开发能力，帮助用户快速训练和部署模型，管理全周期AI工作流。平台为开发者设计了众多可帮助降低开发成本的开发工具与框架，例如AI数据集、AI模型与算力等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
