检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加速卡：A200 飞腾主板 银河麒麟V10 问题：安装商用版本6.0RC1驱动成功，但无法npu-smi info 查询 错误信息如下 dcmi module initialize failed. ret is -8010
昇腾能力应用地图 ModelArts支持如下开源模型昇腾NPU进行训练和推理。 LLM大语言模型 ModelArts针对以下主流的LLM大模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理训练。
问题现象描述问题现象：在C30B896版本，安装完驱动后，使用npu-smi工具查询芯片，出现文件找不到情况，如下图：根本原因分析1、/lib64/目录下缺少npu-smi工具所依赖的动态链接库。
本文档主要介绍如何在ModelArts Standard上，利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，完成SDXL LoRA训练。
那么转过来，使用开发板自带的NPU进行加速推理，岂不是最佳方案，因为它本身就是人工智能开发板，不用NPU相当于没有发挥它的全部能力。 🏅然后今天（2022.7.2）成功实践了转换rknn模型，并使用npu推理。
那么转过来，使用开发板自带的NPU进行加速推理，岂不是最佳方案，因为它本身就是人工智能开发板，不用NPU相当于没有发挥它的全部能力。 🏅然后今天（2022.7.2）成功实践了转换rknn模型，并使用npu推理。
替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
准备工作 当您使用租户账号登录华为云时，则无需执行该准备工作；如果您使用的是IAM用户账户，请确认您是否在admin用户组中，如果您不在admin组中，则需要为您的账号授予相关权限，并完成以下准备工作。 创建rf_admin_trust委托（可选） 进入华为云官网，打开控制台管理界面
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU
因此，PyTorch NPU的plog日志是按worker存储的，而不是按rank id存储的（这是区别于MindSpore的）。目前，PyTorch NPU并不依赖rank table file。 #!
资源和成本规划 该解决方案主要部署如下资源，以下费用仅供参考，具体请参考华为云官网价格详情，实际收费以账单为准。 表1 成本预估 华为云服务 配置示例 每月预估花费 弹性云服务器 ECS 区域：西南-贵阳一 按需计费：0.31元/小时 规格：鲲鹏通用计算增强型 kc1 | 2核 |
主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 开启训练故障自动重启功能 查看日志和性能 训练脚本说明 父主题： LLM大语言模型训练推理
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
【功能模块】Atlas300 npu-smi【操作步骤&问题现象】1、Centos7.4, 驱动安装，没有问题，没有报错2、重启3.
).npu() 再相加就可以了
分页查询智能任务列表 功能介绍 分页查询智能任务列表，包括“智能标注”和“自动分组”两大类智能任务。可通过指定“type”参数来单独查询某类任务的列表。 “智能标注”是指基于当前标注阶段的标签及图片学习训练，选中系统中已有的模型进行智能标注，快速完成剩余图片的标注操作。“智能标注”
_npu_shutdown() RuntimeError: npuSynchronizeDevice:/home/train/git/pytorch/pytorch/c10/npu/NPUStream.cpp:407 NPU error, error code is 0 E19999
在多次重启服务器后，突然npu-smi info报错，显示如下错误信息： DrvMngGetConsoleLogLevel failed.
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
