检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每张GPU卡上的GPU虚拟化设备的显存总量 GPU卡-XGPU设备显存分配率 百分比 每张GPU卡上的GPU虚拟化设备的显存总量占这张GPU卡显存总量的比例 计算公式：显卡上所有XGPU设备能使用的显存上限之和 / 显卡显存总量 GPU卡-XGPU设备算力使用率 百分比 每张GPU卡的GPU虚拟化设备的算力使用率
Volcano调度器 插件介绍 Volcano 是一个基于 Kubernetes 的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要的而 Kubernetes 当下缺失的一系列特性。 字段说明 表1 参数描述 参数 是否必选 参数类型 描述 basic
亲和策略的节点，否则插件实例将无法运行。 容忍策略 容忍策略与节点的污点能力配合使用，允许（不强制）插件的 Deployment 实例调度到带有与之匹配的污点的节点上，也可用于控制插件的 Deployment 实例所在的节点被标记污点后插件的 Deployment 实例的驱逐策略。
问题现象 在CCE集群的GPU节点上部署服务出现如下问题： 容器无法查看显存。 部署了7个GPU服务，有2个是能正常访问的，其他启动时都有报错。 2个是能正常访问的CUDA版本分别是10.1和10.0 其他服务CUDA版本也在这2个范围内 在GPU服务容器中发现一些新增的文件core.*，在以前的部署中没有出现过。
在“容器配置>基本信息”中设置xGPU配额： 显存：显存值单位为MiB，需为正整数，且为128的倍数。若配置的显存超过单张GPU卡的显存，将会出现无法调度状况。 算力：算力值单位为%，需为5的倍数，且最大不超过100。 当显存设置为单张GPU卡的容量上限或算力设置为100%时，将会使用整张GPU卡。
力总量 节点-显存使用量 字节 每个节点的显存使用量 节点-算力使用率 百分比 每个节点的算力使用率 计算公式：节点上容器算力使用总量/节点上算力总量 节点-显存使用率 百分比 每个节点的显存使用率 计算公式：节点上容器显存使用总量/节点上显存总量 GPU卡-显存使用量 字节 显卡上容器显存使用总量
GPU虚拟化支持显存隔离、显存与算力隔离两种隔离模式。单个GPU卡仅支持调度同一种隔离模式的工作负载。 v1.27及以下的集群中，使用GPU虚拟化后，不支持使用Autoscaler插件自动扩缩容GPU虚拟化节点。 XGPU服务的隔离功能不支持以UVM的方式申请显存，即调用CUDA
Volcano调度概述 Volcano是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性，提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。 Volcano
Kubeflow在调度环境使用的是Kubernetes的默认调度器。而Kubernetes默认调度器最初主要是为长期运行的服务设计的，对于AI、大数据等批量和弹性调度方面还有很多的不足。主要存在以下问题： 资源争抢问题 TensorFlow的作业包含Ps和Worker两种不同的角色，这两种角色的Pod要
/proc/xgpu/{GPU卡序号}/meminfo，注意替换命令中的{GPU卡序号}为步骤2获取的GPU卡序号，观测GPU虚拟化的可用显存。 比较步骤2和步骤3的可用显存。 由于GPU厂商的驱动程序，本身就会占用一定量的物理显存，量级在300MB左右，这属于正常现象。例如Tesla T4配套510
以实际示例介绍如何通过Prometheus查看集群的GPU显存的使用。 本文将通过一个示例应用演示如何监控GPU资源指标，具体步骤如下： 访问Prometheus （可选）为Prometheus绑定LoadBalancer类型的Service，支持从外部访问Prometheus。
com/gpu资源的工作负载）。 在工作负载中声明nvidia.com/gpu资源（即配置nvidia.com/gpu为小数，例如0.5）时将通过虚拟化GPU提供，实现GPU显存隔离，按照设定值的百分比为容器分配GPU显存（例如分配0.5×16GiB=8GiB的GPU显存，该数值需为1
集群默认驱动：集群中GPU节点默认使用的GPU驱动版本。如果选择“自定义驱动链接地址”，则需填写Nvidia驱动的下载链接，详情请参见获取驱动链接-公网地址。 节点池自定义驱动：若您不希望集群中的所有GPU节点使用相同的驱动，CCE支持以节点池为单位安装不同的GPU驱动。配置节点池自定义驱
容器resource资源 CPU配额 申请：容器需要使用的最小CPU值 限制：允许容器使用的CPU最大值 参数名 取值范围 默认值 是否允许修改 作用范围 cpu 0.01-2000 0.25 允许 - 内存配额 申请：容器需要使用的内存最小值 限制：允许容器使用的内存最大值 参数名 取值范围 默认值
Bookinfo是一个模仿在线书店的应用，页面上会显示一本书籍的描述，书籍的细节（如页数），以及关于书籍的一些评论。 Bookinfo应用由四个单独的服务构成，几个服务是由不同的语言编写的。这些服务对应用服务网格ASM并无依赖，但是构成了一个有代表性的服务网格的例子，即由多个服务、多个语
使用节点GPU资源的情况，例如GPU利用率、显存使用量、GPU运行的温度、GPU的功率等。在获取GPU监控指标后，用户可根据应用的GPU指标配置弹性伸缩策略，或者根据GPU指标设置告警规则。本文基于开源Prometheus和DCGM Exporter实现丰富的GPU观测场景，关于DCGM
基于GPU监控指标的工作负载弹性伸缩配置 集群中包含GPU节点时，可通过GPU指标查看节点GPU资源的使用情况，例如GPU利用率、显存使用量等。在获取GPU监控指标后，用户可根据应用的GPU指标配置弹性伸缩策略，在业务波动时自适应调整应用的副本数量。 前提条件 目标集群已创建，且集群中包含GPU节点，并已运行GPU相关业务。
业务优先级保障调度 根据业务的重要性和优先级，设置自定义的策略对业务占用的资源进行调度，确保关键业务的资源优先级得到保障。 业务优先级保障调度 AI任务性能增强调度 根据AI任务的工作性质、资源的使用情况，设置对应的调度策略，可以增强集群业务的吞吐量，提高业务运行性能。 AI任务性能增强调度
开启驱动选择后，NPU插件启动时将自动根据对应机型的驱动配置安装驱动，驱动维护更灵活。推荐使用默认的驱动版本，您也可以选择“自定义驱动”并填写完整的驱动地址。 支持的NPU卡类型和对应的操作系统规格如下： NPU卡类型 支持的操作系统 D310 EulerOS 2.5 x86、CentOS
账户A对OBS配置桶策略和和桶ACL，授予账号B相应的权限（如读写权限）。 步骤二：创建挂载OBS的工作负载 基于账号A的OBS桶，账号B创建对应的PV和PVC，并将PVC挂载到需要的工作负载中。 步骤三：检查Pod对OBS桶的操作权限 基于桶策略，检查账号B创建的Pod实例是否具有相应权限。 步骤四：清理资源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
