检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NPU调度 CCE支持在容器中使用NPU资源。 前提条件 创建NPU类型节点，具体请参见创建节点。 安装huawei-npu插件，具体请参见CCE AI套件（Ascend NPU）。 使用NPU 创建工作负载申请NPU资源，可按如下方法配置，指定显卡的数量。
基于PyTorch NPU快速部署开源大模型 基于PyTorch NPU快速部署开源大模型 查看部署指南 方案咨询 该解决方案有何用途？
huawei-npu插件 插件简介 huawei-npu插件是支持容器里使用huawei NPU设备的管理插件。 安装本插件后，可支持使用NPU的节点，实现快速高效地处理推理和图像识别等工作。
NPU调度概述 UCS本地集群管理支持NPU异构资源调度能力。 可实现快速高效地处理推理和图像识别等工作。 NPU调度可以指定Pod申请NPU的数量，为工作负载提供NPU资源。 父主题： NPU调度
NPU调度 NPU调度概述 NPU节点标签 创建NPU应用 父主题： 管理本地集群
DaemonSet NPU指标 指标 监控级别 备注 cce_npu_memory_total NPU卡 NPU卡显存总量 cce_npu_memory_used NPU卡 NPU卡显存使用量 cce_npu_utilization NPU卡 NPU卡算力使用率 如何确认节点NPU
NPU设备检查 功能 检查节点是否存在npu设备。
创建NPU应用 前提条件 如果您需要通过命令行创建，需要使用kubectl连接到集群，详情请参见通过kubectl连接集群。 约束与限制 当前不支持npu负载多容器能力。
如何避免非GPU/NPU负载调度到GPU/NPU节点？ 问题现象 当集群中存在GPU/NPU节点和普通节点混合使用的场景时，普通工作负载也可以调度到GPU/NPU节点上，可能出现GPU/NPU资源未充分利用的情况。
昇腾AI加速卡（NPU）应用异常如何解决？ 故障现象 NPU应用下发失败或者NPU应用无法运行。 解决方法 NPU应用创建失败： 应用如果需要申请NPU资源，只能部署到启用昇腾AI加速卡的节点上。未在注册节点时启用昇腾AI加速卡的节点，部署申请NPU资源的应用会提示创建失败。
CCE AI套件（Ascend NPU） 插件介绍 CCE AI套件（Ascend NPU）是支持容器里使用NPU设备的管理插件。 安装本插件后，可创建“AI加速型”节点，实现快速高效地处理推理和图像识别等工作。
各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架： DeepSpeed和Accelerate都是针对深度学习训练加速的工具，但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架，主要针对大规模模型和大规模数据集的训练。
选择NPU节点，添加标签“accelerator/huawei-npu”，标签值可为空。 图1 添加npu插件标签 单击“确定”完成npu节点标签添加。 父主题： NPU调度
NPU日志收集上传 场景描述 当NPU出现故障，您可通过本方案收集NPU的日志信息。本方案中生成的日志会保存在节点上，并自动上传至华为云技术支持提供的OBS桶中，日志仅用于问题定位分析，因此需要您提供AK/SK给华为云技术支持，用于授权认证。
torch_npu 是 应用功能依赖于torch_npu运行。 否 使用torch_npu实现适配逻辑。 鲲鹏生态 指令 是 使用鲲鹏处理器运行应用。 否 使用鲲鹏指令实现适配逻辑。 Euler 是 使用Euler系统运行应用。 否 使用Euler系统调用实现适配逻辑。
深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域，DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。
去年都是在华为云上买linux服务器配置gpu版本的mindspore跑程序，也明显比cpu的快很多但是今年用modelarts上这个ascend跑同样的代码，发现速度和cpu差不多，而且好像也没有gpu的版本正常的话ascend应该是用这个npu跑深度学习的是吗？
基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型 概要 准备工作 导入和预处理训练数据集 创建和训练模型 使用模型
深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域，DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。
替换深度学习训练加速的工具或增加zero等级，可参考各个模型深度学习训练加速框架的选择，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
父主题： 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
