检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GPU虚拟化 GPU虚拟化概述 准备GPU虚拟化资源 使用GPU虚拟化 兼容Kubernetes默认GPU调度模式 父主题： GPU调度
将云服务器的企业项目修改成与节点池的企业项目一致。 修改云服务器的企业项目 云服务器组不一致 将云服务器的云服务器组修改成与节点池的云服务器组一致。 修改云服务器的云服务器组 修改云服务器的规格 待纳管云服务器规格需修改成节点池中包含的规格。 更多操作指导请参见ECS变更规格通用操作。 登录ECS控制台。
使用dcgm-exporter监控GPU指标 应用场景 集群中包含GPU节点时，需要了解GPU应用使用节点GPU资源的情况，例如GPU利用率、显存使用量、GPU运行的温度、GPU的功率等。在获取GPU监控指标后，用户可根据应用的GPU指标配置弹性伸缩策略，或者根据GPU指标设置告警规则。本文基于开源Prometheus和DCGM
其他服务CUDA版本也在这2个范围内 在GPU服务容器中发现一些新增的文件core.*，在以前的部署中没有出现过。 问题定位 GPU插件的驱动版本较低，客户单独下载驱动安装后正常。 客户工作负载中未声明需要gpu资源。 建议方案 节点安装了gpu-beta（gpu-device-plugin）插件后，会自动安装nv
GPU插件检查异常处理 检查项内容 检查到本次升级涉及GPU插件，可能影响新建GPU节点时GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置，需要您验证两者的兼容性。建议您在测试环境验证安装升级目标版本的GPU插件，并配置当前GPU驱动后，测试创建节点是否正常使用。
Map 针对单个节点池的GPU驱动的相关配置 默认值：{} health_check_xids_v2 否 String 插件健康检查的GPU错误的范围 默认值："74,79" inject_ld_Library_path 否 String 插件向GPU容器中自动注入的LD_LIBRARY_PATH环境变量的值
如何配置Pod使用GPU节点的加速能力？ 问题描述 我已经购买了GPU节点，但运行速度还是很慢，请问如何配置Pod使用GPU节点的加速能力。 解答 方案1： 建议您将集群中GPU节点的不可调度的污点去掉，以便GPU插件驱动能够正常安装，同时您需要安装高版本的GPU驱动。 如果您的集群中有非
例的资源可用性或性能受损对您的业务造成更大的影响，系统会对受影响的ECS实例生成云服务器事件并进行上报，例如实例重部署、系统维护等。 您可以在弹性云服务器ECS控制台管理云服务器事件，详情请参考弹性云服务器事件概述。 使用场景 云服务器事件处理过程中可能出现云服务器不可用等现象，
v1.30 支持节点池粒度配置XGPU 支持GPU渲染场景 支持v1.30集群 2.6.4 v1.28 v1.29 更新GPU卡逻辑隔离逻辑 2.6.1 v1.28 v1.29 升级GPU插件基础镜像 2.5.6 v1.28 修复安装驱动的问题 2.5.4 v1.28 支持v1.28集群
GPU节点使用nvidia驱动启动容器排查思路 集群中的节点是否有资源调度失败的事件？ 问题现象： 节点运行正常且有GPU资源，但报如下失败信息： 0/9 nodes are aviable: 9 insufficient nvida.com/gpu 排查思路： 确认节点标签是否已经打上nvidia资源。
Nvidia驱动：填写Nvidia驱动的下载链接，请根据GPU节点的显卡型号选择驱动。 其余参数可保持默认，详情请参见gpu-beta（gpu-device-plugin）。 单击“安装”，安装插件的任务即可提交成功。 创建GPU节点。 在左侧菜单栏选择“节点管理”，单击右上角“创建节点”，在弹出的页面中配置节点的参数。
负载均衡器配置：后端云服务器组 后端云服务器组的负载均衡算法 服务对接的后端实例会在一个后端云服务器组中，此参数支持配置后端云服务器组的负载均衡算法。 参数名 取值范围 默认值 是否允许修改 作用范围 k8s annotation: kubernetes.io/elb.lb-algorithm
Ubuntu内核与GPU驱动兼容性提醒 检查项内容 检查到集群中同时使用GPU插件和Ubuntu节点，提醒客户存在可能的兼容性问题。当Ubuntu内核版本在5.15.0-113-generic上时，GPU插件必须使用535.161.08及以上的驱动版本。 解决方案 您在升级后新创
GPU插件关键参数检查异常处理 检查项内容 检查CCE GPU插件中部分配置是否被侵入式修改，被侵入式修改的插件可能导致升级失败。 解决方案 使用kubectl连接集群。 执行以下命令获取插件实例详情。 kubectl get ds nvidia-driver-installer
GPU/NPU Pod重建风险检查异常处理 检查项内容 检查当前集群升级重启kubelet时，节点上运行的GPU/NPU业务容器是否可能发生重建，造成业务影响。 解决方案 请确保在业务影响可控的前提下（如业务低峰期）进行集群升级，以消减业务容器重建带来的影响； 如需帮助，请您提交工单联系运维人员获取支持。
异构资源配置 GPU配置 GPU虚拟化：CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高
度。 自定义亲和策略：根据节点标签实现灵活的调度策略，支持的亲和性规则请参见表2。选择合适的策略类型后可以添加对应的调度策略，参数详情请参见表3。 自定义亲和策略 选择合适的节点亲和性规则，并单击，添加相应的调度策略。本示例中在必须满足的类别下添加调度策略，表示节点必须拥有指定节点才可以调度该工作负载。
字节 每个节点上的GPU虚拟化设备显存总量 GPU卡-XGPU设备显存使用率 百分比 每张GPU卡上的GPU虚拟化设备显存使用率 计算公式：显卡上所有XGPU设备的显存使用量之和 / 显卡显存总量 GPU卡-XGPU设备显存分配量 字节 每张GPU卡上的GPU虚拟化设备的显存总量 GPU卡-XGPU设备显存分配率
512Mi 允许 - GPU数量 参数名 取值范围 默认值 是否允许修改 作用范围 nvidia.com/gpu 0-0.99间小数 或大于等于1小于等于10的整数 无 允许 - Kubernetes原生GPU资源配额，配置时limit和request配置相同 GPU虚拟化资源：显存 参数名
Standard集群： 弹性云服务器-虚拟机：基于弹性云服务器部署容器服务。 弹性云服务器-物理机：基于擎天架构的服务器部署容器服务。 裸金属服务器：基于裸金属服务器部署容器服务，需要挂载本地盘或支持挂载云硬盘。 CCE Turbo集群： 弹性云服务器-虚拟机：基于弹性云服务器部署容器服务，仅支持可添加多张弹性网卡的机型。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
