检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
边缘节点支持多个显卡,但是多个显卡的GPU型号必须相同。 当前支持Nvidia Tesla系列P4、P40、T4等型号GPU,含有GPU硬件的机器作为边缘节点时可以不使用GPU。 父主题: 边缘节点
调优前后性能对比 在完成上一章几类调优方式之后,在单卡场景下实测性能调优比对结果如下表所示: 设备 batch_size Steps/Sec 1p-GPU Ant8 16 3.17 1p-NPU snt9b 313T 16 2.17 1p-NPU snt9b 313T调优后 16
图5 性能分析报告展示 图6 计算维度节点降频问题 图7 节点降频及其影响算子 父主题: 基于advisor的昇腾训练性能自助调优指导
如何处理Nouveau驱动未禁用导致的问题 问题描述 Nouveau驱动未禁用可能导致Linux系统卡死、虚拟机无法远程登录等问题。一般常见于客户使用自己的私有镜像(从ECS普通虚拟机导出的镜像或其他来源的私有镜像)。 判断方式 执行以下命令,查看Linux内核环缓冲区中的错误关键字信息
升级Lite Cluster资源池单个节点驱动 场景介绍 当Lite Cluster资源池中的节点含有GPU/Ascend资源时,用户基于自己的业务,可能会有自定义GPU/Ascend驱动的需求,ModelArts面向此类客户提供了自助Lite Cluster资源池升级节点GPU/
GPU裸金属服务器更换NVIDIA驱动后执行nvidia-smi提示Failed to initialize NVML 问题现象 华为云裸金属服务器,NVIDIA驱动卸载后重新安装。
Profiling数据采集 在train.py的main()函数Step迭代处添加配置,添加位置如下图所示: 此处需要注意的是prof.step()需要加到dataloder迭代循环的内部以保证采集单个Step迭代的Profiling数据。
华为云CCE集群纳管GPU裸金属服务器由于CloudInit导致纳管失败的解决方案 问题现象 创建出3台GPU裸金属服务器,使用A节点制作镜像,用于在CCE纳管裸金属服务器时,使用该镜像,但是纳管后发现服务器A纳管失败,剩下两台服务器纳管成功。
图1 XGPU共享技术架构图 产品优势 节约成本 随着显卡技术的不断发展,单张GPU卡的算力越来越强,同时价格也越来越高。但在很多的业务场景下,一个AI应用并不需要一整张的GPU卡。
GPU加速型实例自动安装GPU驱动(Linux) GPU加速型实例自动安装GPU驱动(Windows) 如果用户已安装驱动,但驱动不匹配使用场景,请卸载驱动后重新安装。请参考安装GPU驱动。 父主题: 非硬件故障自恢复处理方法
GPU服务器上配置Lite Server资源软件环境 场景描述 本文旨在指导如何在GPU裸金属服务器上,安装NVIDIA、CUDA驱动等环境配置。由于不同GPU预置镜像中预安装的软件不同,您通过Lite Server算力资源和镜像版本配套关系章节查看已安装的软件。
如果仍未确认问题,请根据故障信息收集收集GPU故障后联系技术支持处理。 父主题: 显卡故障诊断及处理方法
CUDA和CUDNN Vnt1机型软件版本建议:gpu driver version : 440.95.01 gpu driver version : 440.95.01(GPU驱动在宿主机中安装,镜像中无需安装) cuda runtime version : 10.2(PyTorch
如果需要使用OpenGL/DirectX/Vulcan等图形加速能力,则需要安装GRID/vGPU驱动并自行配置使用GRID License。此外,GRID/vGPU驱动配合vDWS类型License,也支持CUDA,用来满足既需要计算加速也需要图形加速的场景。
GPU加速型实例自动安装GPU驱动(Linux) GPU加速型实例自动安装GPU驱动(Windows) 如果自动安装驱动脚本中无用户需要的目标软件版本,请联系技术支持处理。 父主题: 非硬件故障自恢复处理方法
问题影响 可能影响一个或多个GPU的相关应用程序。 处理方法 执行nvidia-smi命令查看显卡信息。 如果在volatile Uncorr. ECC下发现存在ecc error,执行nvidia-smi -q -i &.{gpu_id}查看卡的详细信息。
HiLens激活设备 购买运行服务 基于边缘设备的规格购买对应的CPU和GPU,分别按照CPU资源和GPU资源类型下两个订单 图1 购买运行服务 激活 点击“立即激活”按钮,进入设备激活页面,选择对应的“CPU订单”和“GPU订单”,点击确认即可激活。 父主题: 边缘服务部署
图1 GPU规格运行日志信息 图2 CPU规格运行日志信息 父主题: 制作自定义镜像用于训练模型
通过控制台配置 通过YAML配置 本文示例中,集群内已创建GPU节点,并设置标签为gpu=true,您可以通过该标签将Pod调度到GPU节点上。 登录CCE控制台。 单击集群名称进入集群,在左侧选择“工作负载”,在右上角单击“创建工作负载”。
父主题: 基于ModelArts Standard运行GPU训练作业