检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
unhealthy. NVML获取设备UUID异常 隔离故障GPU节点的GPU设备 GPUXidError Xid=%d on Device=%s, UUID=%s, SN=%s, the device will go unhealthy. GPU设备存在Xid错误，Xid捕获范围为74和79
GPU虚拟化概述 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高GPU利用率。
每个节点的GPU虚拟化设备数量 节点-XGPU设备显存分配量 字节 每个节点上的GPU虚拟化设备显存总量 GPU卡-XGPU设备显存使用率 百分比 每张GPU卡上的GPU虚拟化设备显存使用率 计算公式：显卡上所有XGPU设备的显存使用量之和 / 显卡显存总量 GPU卡-XGPU设备显存分配量
本文介绍如何使用GPU虚拟化能力实现算力和显存隔离，高效利用GPU设备资源。 前提条件 已完成GPU虚拟化资源准备。 如果您需要通过命令行创建，需要使用kubectl连接到集群，详情请参见通过kubectl连接集群。 约束与限制 单个GPU卡最多虚拟化成20个GPU虚拟设备。 init容器不支持使用GPU虚拟化资源。
Prometheus是一套开源的系统监控报警框架。在云容器引擎CCE中，支持以插件的方式快捷安装Prometheus。 云原生异构计算插件 插件名称 插件简介 CCE AI套件（NVIDIA GPU） CCE AI套件（NVIDIA GPU）是支持在容器中使用GPU显卡的设备管理插件，仅支持Nvidia驱动。
rawInuse：正在使用的Raw套接字数量。 文件系统异常 / 文件系统状态 readonly：文件系统只读 deviceError：文件系统错误 磁盘读写速率 次/秒 磁盘每秒进行的读写次数 磁盘读和写延迟（秒） 秒 磁盘读写时延 IO队列数 / 磁盘设备平均IO队列长度，节点磁盘IO时间加
CVE-2024-47177 严重 2024-09-26 漏洞影响 该漏洞主要影响运行 CUPS 打印系统的 Unix 设备，若同时启用了 cups-browsed 服务，可能面临被远程攻击的风险，从而危及用户设备的安全。 判断方法 您可以在节点上执行以下命令查看是否安装CUPS相关服务： systemctl
GPU驱动的一个漏洞CVE-2021-1056，该漏洞是存在于NVIDIA GPU驱动程序中与设备隔离相关的安全漏洞。当容器以非特权模式启动，攻击者利用这个漏洞，通过在容器中创建特殊的字符设备文件后，能够获取宿主机上所有GPU设备的访问权限。 关于漏洞的详细信息，请参见CVE-2021-1056。 如
cluster_version 否 String CCE集群版本 device_version 是 String 插件的版本 driver_version 是 String 插件安装驱动时，插件里负责安装驱动的Pod的镜像tag，一般与device_version相同 obs_url 是 String
GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。本文介绍如何在GPU节点上实现GPU的调度和隔离能力。 前提条件 配置 支持版本 集群版本 v1.23.8-r0、v1.25.3-r0及以上 操作系统 Huawei Cloud EulerOS
cluster_version 是 String CCE集群版本 device_version 是 String 插件的版本 driver_version 是 String 插件开启自动安装驱动时，插件里负责安装驱动的Pod的镜像tag，一般与device_version相同 swr_addr 是 String
异构资源配置 GPU配置 GPU虚拟化：CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU
CPU的节点上，且该节点上没有其他实例运行，那么该实例在负载压力较大的情况下可使用超过1GiB的内存，但内存使用量不得超过2GiB。若容器中的进程尝试使用超过2GiB的资源时，系统内核将会尝试将进程终止，出现内存不足（OOM）错误。 创建工作负载时，建议设置CPU和内存的资源上下限。同一个节点上部署的工作负载，对于未
本地使用Windows操作系统登录Linux节点时，输入的镜像用户名（Auto-login username）为：root。 CCE控制台不提供针对节点的操作系统升级，也不建议您通过yum方式进行升级，如果您在节点上通过yum update升级了操作系统，会导致容器网络的组件不可用。手动恢复方式请参见如何解决yum
busy 问题根因 出现以上问题的原因是宿主机上有其他进程正在使用该设备。 解决方法 您需要登录到Pod所在宿主机上查找正在使用该设备的进程，并终止对应的进程。 登录Pod所在节点。 执行以下命令，找到对应挂载路径下的云存储设备，其中<mount-path>为错误信息中显示的挂载路径。 mount
1：显存算力隔离模式 2：默认模式，表示当前卡还没被用于GPU虚拟化设备分配。 xgpu_device_health GPU卡 GPU虚拟化设备的健康情况。 0：表示GPU虚拟化设备为健康状态。 1：表示GPU虚拟化设备为非健康状态。 访问Grafana Prometheus插件同时
使用说明 标准接口：具备标准Http Restful API接口，用户必须通过编程或第三方工具访问对象存储。 数据共享：服务器、嵌入式设备、IOT设备等所有调用相同路径，均可访问共享的对象存储数据。 公共/私有网络：对象存储数据允许在公网访问，满足互联网应用需求。 容量与性能：容量
1：显存算力隔离模式 2：默认模式，表示当前卡还没被用于GPU虚拟化设备分配。 xgpu_device_health GPU卡 GPU虚拟化设备的健康情况。 0：表示GPU虚拟化设备为健康状态。 1：表示GPU虚拟化设备为非健康状态。 相关链接 GPU插件及驱动相关问题的排查思路 工作负载异常：GPU相关
节点kube-proxy故障 CCE 节点异常立即触发告警 登录集群查看告警节点状态，确认异常后，优先将此节点设置为不可调度，并将业务pod调度到其他节点 节点操作系统内核故障 CCE 节点异常立即触发告警 登录集群查看告警节点状态，确认异常后，优先将此节点设置为不可调度，并将业务pod调度到其他节点 节点的连接跟踪表已满
在弹出的“移除节点”对话框中，配置重装操作系统需要的登录信息，单击“是”，等待完成节点移除。 移除节点后，原有节点上的工作负载实例会自动迁移至其他可用节点。 重装操作系统失败如何处理 移除节点重装操作系统可能会失败，如果碰到这种情况，您可以执行如下步骤重装操作系统并清理节点上的CCE组件。 登
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
