-
XGPU视图 - 云容器引擎 CCE
每个节点的GPU虚拟化设备数量 节点-XGPU设备显存分配量 字节 每个节点上的GPU虚拟化设备显存总量 GPU卡-XGPU设备显存使用率 百分比 每张GPU卡上的GPU虚拟化设备显存使用率 计算公式:显卡上所有XGPU设备的显存使用量之和 / 显卡显存总量 GPU卡-XGPU设备显存分配量 字节 每张GPU卡上的GPU虚拟化设备的显存总量
-
使用GPU虚拟化 - 云容器引擎 CCE
配置工作负载信息。 在“容器配置>基本信息”中设置xGPU配额: 显存:显存值单位为MiB,需为正整数,且为128的倍数。若配置的显存超过单张GPU卡的显存,将会出现无法调度状况。 算力:算力值单位为%,需为5的倍数,且最大不超过100。 当显存设置为单张GPU卡的容量上限或算力设置为100%时,将会使用整张GPU卡。
-
GPU视图 - 云容器引擎 CCE
力总量 节点-显存使用量 字节 每个节点的显存使用量 节点-算力使用率 百分比 每个节点的算力使用率 计算公式:节点上容器算力使用总量/节点上算力总量 节点-显存使用率 百分比 每个节点的显存使用率 计算公式:节点上容器显存使用总量/节点上显存总量 GPU卡-显存使用量 字节 每张GPU的显存使用量
-
GPU虚拟化概述 - 云容器引擎 CCE
GPU虚拟化的优势 CCE提供的GPU虚拟化功能优势如下: 灵活:精细配置GPU算力占比及显存大小,算力分配粒度为5%GPU,显存分配粒度达MiB级别。 隔离:支持显存和算力的严格隔离,支持单显存隔离,算力与显存同时隔离两类场景。 兼容:业务无需重新编译,无需进行CUDA库替换,对业务无感。
-
GPU故障处理 - 云容器引擎 CCE
卡序号,观测GPU虚拟化的可用显存。 比较步骤2和步骤3的可用显存。 由于GPU厂商的驱动程序,本身就会占用一定量的物理显存,量级在300MB左右,这属于正常现象。例如Tesla T4配套510.47.03,驱动程序默认会占用280MiB;而该显存占用与厂商的驱动程序版本也有一定
-
工作负载异常:GPU节点部署服务报错 - 云容器引擎 CCE
工作负载异常:GPU节点部署服务报错 问题现象 客户在CCE集群的GPU节点上部署服务出现如下问题: 容器无法查看显存。 部署了7个GPU服务,有2个是能正常访问的,其他启动时都有报错。 2个是能正常访问的CUDA版本分别是10.1和10.0 其他服务CUDA版本也在这2个范围内
-
监控GPU资源指标 - 云容器引擎 CCE
GPU各进程解码使用率 内存指标 cce_gpu_memory_used GPU卡 GPU显存使用量 cce_gpu_memory_total GPU卡 GPU显存总量 cce_gpu_memory_free GPU卡 GPU显存空闲量 cce_gpu_bar1_memory_used GPU卡 GPU
-
容器resource资源 - 云容器引擎 CCE
配置时limit和request配置相同 GPU虚拟化资源:显存 参数名 取值范围 默认值 是否允许修改 作用范围 volcano.sh/gpu-mem.128Mi 1-16384间整数 无 允许 - 虚拟化GPU显存资源,若配置limit和request相同,可独立配置 GPU虚拟化资源:算力
-
使用dcgm-exporter监控GPU指标 - 云容器引擎 CCE
使用dcgm-exporter监控GPU指标 应用场景 集群中包含GPU节点时,需要了解GPU应用使用节点GPU资源的情况,例如GPU利用率、显存使用量、GPU运行的温度、GPU的功率等。在获取GPU监控指标后,用户可根据应用的GPU指标配置弹性伸缩策略,或者根据GPU指标设置告警规
-
基于GPU监控指标的弹性伸缩实践 - 云容器引擎 CCE
基于GPU监控指标的弹性伸缩实践 集群中包含GPU节点时,可通过GPU指标查看节点GPU资源的使用情况,例如GPU利用率、显存使用量等。在获取GPU监控指标后,用户可根据应用的GPU指标配置弹性伸缩策略,在业务波动时自适应调整应用的副本数量。 前提条件 目标集群已创建,且集群中包含GPU节点,并已运行GPU相关业务。
-
准备GPU虚拟化资源 - 云容器引擎 CCE
com/gpu配额(即配置nvidia.com/gpu为小数,例如0.5)时将通过虚拟化GPU提供,实现GPU显存隔离,按照设定值的百分比为容器分配GPU显存(例如分配0.5×16GiB=8GiB的GPU显存,该数值需为128MiB的整数倍否则会自动向下取整)。如果在开启兼容能力前工作负载中已经使用nvidia
-
异构资源配置 - 云容器引擎 CCE
异构资源配置 GPU配置 GPU虚拟化 CCE GPU虚拟化采用自研xGPU虚拟化技术,能够动态对GPU设备显存与算力进行划分,单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说,虚拟化的方案更加灵活,最大程度保证业务稳定的前提下,可以完全由用户自己定义使用的GPU
-
CCE AI套件(NVIDIA GPU) - 云容器引擎 CCE
com/gpu配额(即配置nvidia.com/gpu为小数,例如0.5)时将通过虚拟化GPU提供,实现GPU显存隔离,按照设定值的百分比为容器分配GPU显存(例如分配0.5×16GiB=8GiB的GPU显存,该数值需为128MiB的整数倍否则会自动向下取整)。如果在开启兼容能力前工作负载中已经使用nvidia
-
兼容Kubernetes默认GPU调度模式 - 云容器引擎 CCE
com/gpu配额(即配置nvidia.com/gpu为小数,例如0.5)时将通过虚拟化GPU提供,实现GPU显存隔离,按照设定值的百分比为容器分配GPU显存(例如分配0.5×16GiB=8GiB的GPU显存,该数值需为128MiB的整数倍否则会自动向下取整)。如果在开启兼容能力前工作负载中已经使用nvidia
-
Volcano调度器 - 云容器引擎 CCE
内存申请值:建议每1000个节点分配2.4G内存,每1w个Pod分配1G内存,二者叠加进行计算。(该计算方法相比表2中的建议值会存在一定的误差,通过查表或计算均可) 即:内存申请值 = 目标节点数/1000 * 2.4G + 目标Pod规模/1w * 1G。 例如2000节点和2w个Pod的场景下,内存申请值
-
调度概述 - 云容器引擎 CCE
设置为小于1的数量,实现多个Pod共享使用GPU。 使用Kubernetes默认GPU调度 GPU虚拟化 GPU虚拟化能够动态对GPU设备显存与算力进行划分,单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说,虚拟化的方案更加灵活,最大程度保证业务稳定的前提下,可以
-
使用ASM实现灰度发布和蓝绿发布 - 云容器引擎 CCE
使用ASM实现灰度发布和蓝绿发布 应用服务网格(Application Service Mesh,简称ASM)是基于开源Istio推出的服务网格平台,它深度、无缝对接了企业级Kubernetes集群服务云容器引擎(CCE),在易用性、可靠性、可视化等方面进行了一系列增强,可为客户提供开箱即用的上手体验。
-
Volcano调度概述 - 云容器引擎 CCE
Volcano调度概述 Volcano是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性,提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。 Volcano
-
使用Kubeflow和Volcano实现典型AI训练任务 - 云容器引擎 CCE
Volcano是一款构建于Kubernetes之上的增强型高性能计算任务批量处理系统。作为一个面向高性能计算场景的平台,它弥补了Kubernetes在机器学习、深度学习、HPC、大数据计算等场景下的基本能力缺失,其中包括gang-schedule的调度能力、计算任务队列管理、task-topology
-
节点规格说明 - 云容器引擎 CCE
Standard集群 表22 G6型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽(Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 GPU 显存 (GiB) 虚拟化类型 g6.xlarge.4 4 16 6/2 200 8 8 1 ×