检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备GPU虚拟化资源 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。本文介绍如何在GPU节点上实现GPU的调度和隔离能力。 前提条件 配置 支持版本 集群版本 v1.23.8-r0、v1.25
使用GPU虚拟化 本文介绍如何使用GPU虚拟化能力实现算力和显存隔离，高效利用GPU设备资源。 前提条件 已完成GPU虚拟化资源准备。 如果您需要通过命令行创建，需要使用kubectl连接到集群，详情请参见通过kubectl连接集群。 约束与限制 单个GPU卡最多虚拟化成20个GPU虚拟设备。
GPU虚拟化 GPU虚拟化概述 准备GPU虚拟化资源 使用GPU虚拟化 兼容Kubernetes默认GPU调度模式 父主题： GPU调度
GPU虚拟化概述 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高GPU利用率。
在“GPU配置”中找到“节点池配置”，并选择新增的目标节点池。 参考准备GPU虚拟化资源，选择满足GPU虚拟化要求的驱动，并开启支持GPU虚拟化。 图1 异构资源配置 单击“确认配置”进行保存。 步骤三：创建GPU虚拟化负载并扩容 参考使用GPU虚拟化章节，创建使用GPU虚拟化资源的无状态负载，并将GPU申请量设为大
com/gpu资源，则不会转成虚拟化GPU，依然使用整卡资源。 开启该兼容能力后，使用nvidia.com/gpu配额时等价于开启虚拟化GPU显存隔离，可以和显存隔离模式的工作负载共用一张GPU卡，但不支持和算显隔离模式负载共用一张GPU卡。同时，还需遵循GPU虚拟化的其他约束与限制。 未
的库和依赖，甚至整个操作系统的文件系统能被打包成一个简单的可移植的包，这个包可以被用来在任何其他运行Docker的机器上使用。 容器和虚拟机具有相似的资源隔离和分配方式，容器虚拟化了操作系统而不是硬件，更加便携和高效。 图1 容器 vs 虚拟机 相比于使用虚拟机，容器有如下优点：
异构资源配置 GPU配置 GPU虚拟化 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU
个 每个节点的GPU虚拟化设备数量 节点-XGPU设备显存分配量 字节 每个节点上的GPU虚拟化设备显存总量 GPU卡-XGPU设备显存使用率 百分比 每张GPU卡上的GPU虚拟化设备显存使用率 计算公式：显卡上所有XGPU设备的显存使用量之和 / 显卡显存总量 GPU卡-XGPU设备显存分配量
st配置相同 GPU虚拟化资源：显存 参数名 取值范围 默认值 是否允许修改 作用范围 volcano.sh/gpu-mem.128Mi 1-16384间整数 无 允许 - 虚拟化GPU显存资源，若配置limit和request相同，可独立配置 GPU虚拟化资源：算力 参数名 取值范围
将Prometheus监控数据上报至第三方监控平台 操作场景 CCE云原生监控插件可以将集群中收集到的Prometheus指标，上报到您指定的监控平台，例如AOM，或者您也可以指定支持Prometheus数据的第三方监控平台。本文以对接第三方Prometheus实例为例，使用CC
CCE集群根证书是Kubernetes认证的基础证书，华为云上的Kubernetes集群管理面托管在CCE管理平台上，证书也在CCE的管理平台上，不对用户开放，这个证书在平台上会定期维护，不会出现过期的情况。 X509证书在Kubernetes集群上也是默认开启的，更新平台自动会维护更新。 获取集群证书
与运维等容器全栈能力，为您提供一站式容器平台服务。借助云容器引擎，您可以在华为云上轻松部署、管理和扩展容器化应用程序。 应用管理与运维平台（ServiceStage） ServiceStage应用管理与运维平台是一个应用托管和微服务管理平台，可以帮助企业简化部署、监控、运维和治理
GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 基于GPU监控指标的工作负载弹性伸缩配置 GPU虚拟化节点弹性伸缩配置 GPU故障处理 父主题： 调度
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
据盘，选择“作为临时存储卷”导入存储池，详情请参见创建节点。 图1 导入临时卷 手动导入 如果创建节点时没有导入临时存储卷，或当前存储卷容量不够，可以进行手动导入。 前往ECS控制台为节点添加SCSI类型的磁盘。操作步骤详情请参见新增磁盘。 登录CCE控制台，单击集群名称进入集群。
集群管理的URL格式为：https://Endpoint/uri。其中uri为资源路径，也即API访问的路径。 接口约束 仅支持创建KVM虚拟化类型的节点，非KVM虚拟化类型的节点创建后无法正常使用。 调用方法 请参见如何调用API。 URI POST /api/v3/projects/{pr
据盘，选择“作为持久存储卷”导入存储池，详情请参见创建节点。 手动导入 如果创建节点时没有导入持久存储卷，或当前存储卷容量不够，可以进行手动导入。 前往ECS控制台为节点添加SCSI类型的磁盘。操作步骤详情请参见新增磁盘。 登录CCE控制台，单击集群名称进入集群。 在左侧导航栏中选择“存储”，并切换至“存储池”页签。
硬件资源（如内存、CPU、网络、磁盘等）进行了虚拟化分配，然后通过这些虚拟化的硬件资源组成了虚拟机，并在上面运行一个完整的操作系统，每个虚拟机需要运行自己的系统进程。而容器内的应用进程直接运行于宿主机操作系统内核，没有硬件资源虚拟化分配的过程，避免了额外的系统进程开销，因此使得D
使用Kubernetes默认GPU调度 GPU虚拟化 GPU虚拟化能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高GPU利用率。 GPU虚拟化 NPU调度 C
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
