检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com/gpu 指定申请GPU的数量，支持申请设置为小于1的数量，比如 nvidia.com/gpu: 0.5，这样可以多个Pod共享使用GPU。GPU数量小于1时，不支持跨GPU分配，如0.5 GPU只会分配到一张卡上。 指定nvidia.com/gpu后，在调度时不会将负载调
监控GPU资源 本章介绍如何在UCS控制台界面查看GPU资源的全局监控指标。 前提条件 完成GPU资源准备。 当前本地集群已创建GPU资源。 当前本地集群开启了监控能力。 GPU监控 登录UCS控制台，在左侧导航栏选择“容器智能分析”。 选择对应的集群并开启监控，详细操作请参照集群开启监控。
到GPU。 处理方法 根据报错提示，请您排查代码，是否已添加以下配置，设置该程序可见的GPU： os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中，0为服务器的GPU编号，可以为0，1，2，3等，表明对程序可见的GP
bels[i]]) plt.show() 父主题： 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型
GPU卡 GPU时钟频率 cce_gpu_memory_clock GPU卡 GPU显存频率 cce_gpu_graphics_clock GPU卡 GPU图形处理器频率 cce_gpu_video_clock GPU卡 GPU视频处理器频率 物理状态数据 cce_gpu_temperature
处理方法 如果未安装GPU驱动，请重新安装GPU驱动。 操作指导请参考：安装GPU驱动 如果已安装驱动，但是驱动被卸载。 执行history，查看是否执行过卸载操作。 进入/var/log目录，查看是否有nvidia-uninstall.log日志，如果有说明GPU驱动已被卸载，请重新安装GPU驱动。
GPU实例故障处理流程 GPU实例故障处理流程如图1所示，对应的操作方法如下： CES监控事件通知：配置GPU的CES监控后会产生故障事件通知。 故障信息收集：可使用GPU故障信息收集脚本一键收集，也可参考故障信息收集执行命令行收集。 GPU实例故障分类列表：根据错误信息在故障分类列表中识别故障类型。
迁移过程使用工具概览 基础的开发工具在迁移的预置镜像和开发环境中都已经进行预置，用户原则上不需要重新安装和下载，如果预置的版本不满足要求，用户可以执行下载和安装与覆盖操作。 模型自动转换评估工具Tailor 为了简化用户使用，ModelArts提供了Tailor工具，将模型转换、
GPU调度 GPU调度概述 准备GPU资源 创建GPU应用 监控GPU资源 父主题： 管理本地集群
基于GPU监控指标的工作负载弹性伸缩配置 集群中包含GPU节点时，可通过GPU指标查看节点GPU资源的使用情况，例如GPU利用率、显存使用量等。在获取GPU监控指标后，用户可根据应用的GPU指标配置弹性伸缩策略，在业务波动时自适应调整应用的副本数量。 前提条件 目标集群已创建，且
自定义镜像方式创建GPU函数 GPU 型号仅支持 NVIDIA Tesla 系列。例如：Tesla 系列 T4 卡型。 自定义镜像函数部署详见使用容器镜像部署函数。 自定义镜像函数，可以在设置->常规设置中，启用GPU。 图1 启用GPU 父主题： 创建GPU函数
GPU实例故障分类列表 GPU实例故障的分类列表如表1所示。 表1 GPU实例故障分类列表 是否可恢复故障 故障类型 相关文档 可恢复故障，可按照相关文档自行恢复 镜像配置问题 如何处理Nouveau驱动未禁用导致的问题 ECC错误 如何处理ECC ERROR：存在待隔离页问题 内核升级问题
应用场景 当前主流的大数据、AI训练和推理等应用（如Tensorflow、Caffe）均采用容器化方式运行，并需要大量GPU、高性能网络和存储等硬件加速能力，并且都是任务型计算，需要快速申请大量资源，计算任务完成后快速释放。本文将演示在云容器实例中创建GPU类型的负载，以tensorfl
GPU虚拟化 GPU虚拟化概述 准备GPU虚拟化资源 使用GPU虚拟化 兼容Kubernetes默认GPU调度模式 父主题： GPU调度
绝大多数情况下，昇腾芯片推理性能相比于CPU会好很多，但是也可能会遇到和CPU推理性能并无太大差别甚至出现劣化的情况。造成这种情况的原因可能有如下几种： 模型中存在大量的类似于Pad或者Strided_Slice等算子，其在CPU和Ascend上的实现方法存在差异（硬件结构不同），后者在运算此类算子时涉及到数组的重排，性能较差；
使用Nvidia-smi工具 为了支持查看GPU使用情况的场景，需要在镜像中注入nvidia-smi工具，根据购买的专属节点GPU驱动版本选择不同的nvidia-smi二进制文件。 nvidia-smi获取方式。 该二进制文件可以在nvidia官网，根据CUDA Toolkit版
GPU节点驱动版本 选择GPU节点驱动版本 CCE推荐的GPU驱动版本列表 手动更新GPU节点驱动版本 通过节点池升级节点的GPU驱动版本 父主题： GPU调度
6 版本开发，使用其他版本的 cuda 请考虑使用自定义镜像函数。 定制运行时函数，可以在设置->常规设置中，启用 GPU。 图1 启用GPU 父主题： 创建GPU函数
G系列弹性云服务器GPU驱动故障 问题描述 在Windows系统的G系列弹性云服务器中，无法打开NVIDIA 控制面板，GPU驱动无法使用或GPU驱动显示异常。 可能原因 GPU驱动状态异常。 处理方法 打开Windows设备管理器，在显示适配器中查看GPU驱动状态。 GPU驱动显示正常
当前推理业务的操作系统及版本，如：Ubuntu 22.04。 是否使用容器化运行业务，以及容器中OS版本，HostOS中是否有业务软件以及HostOS的类型和版本。 需要评估是否愿意迁移到华为云的通用OS。 - AI引擎及版本 当前引擎（TF/PT/LibTorch），是否接受切换MindSpore。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
