检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-itd \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \
in/npu-smi --shm-size 60g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --security-opt
\ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5
\ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5
简介 场景介绍 本文旨在指导客户将已有的推理业务迁移到昇腾设备上运行(单机单卡、单机多卡),并获得更好的推理性能收益。 ModelArts针对上述使用场景,在给出系统化推理业务昇腾迁移方案的基础上,提供了即开即用的云上集成开发环境,包含迁移所需要的算力资源和工具链,以及具体的No
\ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5
dcmi接口检测到driver异常。 NPU驱动环境异常。 A050122 NPU 其他 npu dcmi device异常。 NPU设备异常,昇腾dcmi接口中返回设备存在重要或紧急告警。 A050123 NPU 链路 npu dcmi net异常。 NPU网络链接异常。 A050129
in/npu-smi --shm-size 60g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --security-opt
Lite进行离线推理时,需要先将模型转换为mindir模型,再利用MindSpore Lite作为推理引擎,将转换后的模型直接运行在昇腾设备上。模型转换需要使用converter_lite工具。 Huggingface提供的onnx模型文件的输入是动态shape,而mindir
默认8卡 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type> # 指定设备卡数,如2卡 ASCEND_RT_VISIBLE_DEVICES=0,1 benchmark-cli train <cfgs_yaml_file>
NodeCondition Type 分类 子类 异常中文描述 检测方法 处理建议 NT_NPU_DEVICE NPU 其他 npu dcmi device异常。 NPU设备异常,昇腾dcmi接口中返回设备存在重要或紧急告警。 可能是亚健康,建议先重启节点,如果重启节点后未恢复,发起维修流程。
默认8卡 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type> # 指定设备卡数,如2卡 ASCEND_RT_VISIBLE_DEVICES=0,1 benchmark-cli train <cfgs_yaml_file>
使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。 检查资源分配情况(cpu/mem/gpu/sn
准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。
准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 训练 预训练/微调 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。
暂停业务,重启系统,查看散热系统,device复位 可能造成过温下电及device丢失 Snt3P 300IDuo Snt9B Snt9C NPU: 存在不可纠正ECC错误 UncorrectableEccErrorWarning 重要 NPU卡出现Uncorrectable ECC Error硬件故障 如果业务受到影响,转硬件换卡
要特别指定target为“Ascend”,以及对应的device_id。 context = mslite.Context() context.target = ["ascend"] context.ascend.device_id = 0 模型加载与编译:执行推理之前,需要调用
Storage Service)与SFS Turbo文件系统联动,可以实现数据灵活管理、高性能读取数据等。通过OBS上传训练所需的模型文件、训练数据等,再将OBS中的数据文件导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。
足业务需要的算法,直接用于创建训练作业。 AI Gallery中分享的算法支持免费订阅,但在使用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储数据和模型。 订阅算法 登录“AI Gallery”。
免费资产和商用资产 AI Gallery既有免费分享的AI资产,也有商业售卖的AI资产。 免费资产无需支付费用,只需要支付在使用过程中消耗的硬件资源,硬件资源费用将根据实际使用情况由华为云ModelArts等管理控制台向使用方收取。 当前支持免费分享和订阅的资产类型有:Notebook代码样例、数据集、算法、模型、镜像。