检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
详细安装操作请参考安装GRID驱动。 GPU型弹性云服务器因通用算力和异构算力差异大，仅支持变更规格至同类型规格内的细分规格。 GPU型弹性云服务器不支持热迁移。 图形加速型G1 概述 G1型弹性云服务器基于NVIDIA GRID虚拟GPU技术，提供较为经济的图形加速能力。同时，G1型弹性云服务器使用NVIDIA
通过nvidia.com/gpu指定申请GPU的数量，支持申请设置为小于1的数量，比如nvidia.com/gpu: 0.5，这样可以多个Pod共享使用GPU。GPU数量小于1时，不支持跨GPU分配，如0.5 GPU只会分配到一张卡上。 使用nvidia.com/gpu参数指定GPU数量时，re
GPU相关问题 日志提示"No CUDA-capable device is detected" 日志提示“RuntimeError: connect() timed out” 日志提示“cuda runtime error (10) : invalid device ordinal
/nvidia-smi 若能正常返回GPU信息，说明设备可用，插件安装成功。 GPU驱动支持列表 当前GPU驱动支持列表仅针对1.2.28及以上版本的GPU插件。 如果您需要安装最新版本的GPU驱动，请将您的GPU插件升级到最新版本。 表2 GPU驱动支持列表 GPU型号 支持集群类型 机型规格
GPU负载 使用Tensorflow训练神经网络 使用Nvidia-smi工具
alloc()等。 受GPU虚拟化技术的限制，容器内应用程序初始化时，通过nvidia-smi监测工具监测到的实时算力可能超过容器可用的算力上限。 节点上开启了GPU虚拟化且有多张GPU卡时，如果GPU资源不足，不支持抢占其他Pod的GPU资源。 创建GPU虚拟化应用 通过控制台创建
GPU驱动概述 GPU驱动概述 在使用GPU加速型实例前，请确保实例已安装GPU驱动以获得相应的GPU加速能力。 GPU加速型实例支持两种类型的驱动：GRID驱动和Tesla驱动。 当前已支持使用自动化脚本安装GPU驱动，建议优先使用自动安装方式，脚本获取以及安装指导请参考（推荐
GPU虚拟化的优势 CCE提供的GPU虚拟化功能优势如下： 灵活：精细配置GPU算力占比及显存大小，算力分配粒度为5%GPU，显存分配粒度达MiB级别。 隔离：支持显存和算力的严格隔离，支持单显存隔离，算力与显存同时隔离两类场景。 兼容：业务无需重新编译，无需进行CUDA库替换，对业务无感。
GPU采用xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户定义使用的GPU数量，提高GPU利用率。 GPU虚拟化功能优势如下： 灵活：精细配置GPU算力占比及显存大
兼容Kubernetes默认GPU调度模式 开启GPU虚拟化后，工作负载调度GPU时建议使用显存隔离模式（即设置volcano.sh/gpu-mem.128Mi资源）和算显隔离模式（即同时设置volcano.sh/gpu-mem.128Mi和volcano.sh/gpu-core.perc
Gauge % GPU进程 GPU虚拟化算力总量。 xgpu_core_percentage_used Gauge % GPU进程 GPU虚拟化算力使用量。 gpu_schedule_policy Gauge - GPU卡 GPU虚拟化分三种模式： 0：显存隔离算力共享模式 1：显存算力隔离模式
准备GPU虚拟化资源 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。本文介绍如何在GPU节点上实现GPU的调度和隔离能力。 前提条件 配置 支持版本 集群版本 v1.23.8-r0、v1.25
（推荐）自动安装GPU加速型ECS的GPU驱动（Linux） 操作场景 在使用GPU加速型实例时，需确保实例已安装GPU驱动，否则无法获得相应的GPU加速能力。 本节内容介绍如何在GPU加速型Linux实例上通过脚本自动安装GPU驱动。 使用须知 本操作仅支持Linux操作系统。
T4 GPU设备显示异常 问题描述 使用NVIDIA Tesla T4 GPU的云服务器，例如Pi2或G6规格，执行nvidia-smi命令查看GPU使用情况时，显示如下： No devices were found 原因分析 NVIDIA Tesla T4 GPU是NVIDIA的新版本，默认使用并开启GSP
（推荐）自动安装GPU加速型ECS的GPU驱动（Windows） 操作场景 在使用GPU加速型实例时，需确保实例已安装GPU驱动，否则无法获得相应的GPU加速能力。 本节内容介绍如何在GPU加速型Windows实例上通过脚本自动安装GPU驱动。 使用须知 如果GPU加速型实例已安装
合适的NVIDIA驱动版本。 GPU驱动支持列表 当前GPU驱动支持列表仅针对1.2.28及以上版本的GPU插件。 如果您需要安装最新版本的GPU驱动，请将您的GPU插件升级到最新版本。 表1 GPU驱动支持列表 GPU型号 支持集群类型 机型规格 操作系统 Huawei Cloud
本节操作介绍GPU云服务器安装Tesla驱动及CUDA工具包的操作步骤。 当前已支持使用自动化脚本安装GPU驱动，建议优先使用自动安装方式，脚本获取以及安装指导请参考（推荐）自动安装GPU加速型ECS的GPU驱动（Linux）和（推荐）自动安装GPU加速型ECS的GPU驱动（Windows）。
了解更多GRID驱动信息请参考NVIDIA vGPU驱动。 GPU直通型实例：根据需求选择GRID驱动版本。 GPU虚拟化型实例：请严格按照下表选择合适的驱动版本下载使用。 表1 GPU实例类型支持的GRID驱动版本 实例类型 GPU挂载方式 操作系统 驱动版本 CPU架构 G6v GPU虚拟化型实例 CentOS
卸载GPU加速型ECS的GPU驱动 操作场景 当GPU加速型云服务器需手动卸载GPU驱动时，可参考本文档进行操作。 GPU驱动卸载命令与GPU驱动的安装方式和操作系统类型相关，例如： Windows操作系统卸载驱动 Linux操作系统卸载驱动 Windows操作系统卸载驱动 以Windows
丰富的GPU监控指标，功能特性如下： GPU行为监控 GPU配置管理 GPU Policy管理 GPU健康诊断 GPU级别统计和线程级别统计 NVSwitch配置和监控 本文基于CCE云原生监控插件和DCGM Exporter实现丰富的GPU观测场景，常用指标请参见GPU监控指标
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
