检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DCS实现排行榜功能 方案概述 在网页和APP中经常需要用到榜单的功能,对某个key-value的列表进行降序显示。当操作和查询并发大的时候,使用传统数据库就会遇到性能瓶颈,造成较大的时延。 使用分布式缓存服务(DCS)的Redis版本,可以实现一个商品热销排行榜的功能。它的优势在于:
Adviso主页面 提交性能诊断任务 如果您的NPU性能数据存放在OBS上,Source选择OBS,Path输入OBS地址,格式如obs://bucket1/profiling_dir1,单击Submit按钮。界面参考下图。 图4 分析OBS上的性能数据 如果您的NPU性能数据存放在Not
准备GPU虚拟化资源 CCE GPU虚拟化采用自研xGPU虚拟化技术,能够动态对GPU设备显存与算力进行划分,单个GPU卡最多虚拟化成20个GPU虚拟设备。本文介绍如何在GPU节点上实现GPU的调度和隔离能力。 前提条件 配置 支持版本 集群版本 v1.23.8-r0、v1.25
以保证采集单个Step迭代的Profiling数据。 更多信息,请参见Ascend PyTorch Profiler接口采集。 父主题: 性能调优
T4 GPU设备显示异常 问题描述 使用NVIDIA Tesla T4 GPU的云服务器,例如Pi2或G6规格,执行nvidia-smi命令查看GPU使用情况时,显示如下: No devices were found 原因分析 NVIDIA Tesla T4 GPU是NVIDIA的新版本,默认使用并开启GSP
Dit模型Pytorch迁移与精度性能调优 场景介绍及环境准备 训练迁移适配 精度对齐 性能调优 父主题: GPU业务迁移至昇腾训练推理
基于advisor的昇腾训练性能自助调优指导 昇腾性能自动诊断工具使用说明 基于ModelArts performance advisor插件的昇腾PyTorch性能调优步骤 创建Notebook并执行性能诊断任务 advisor分析报告html文件详解 父主题: GPU业务迁移至昇腾训练推理
了解更多GRID驱动信息请参考NVIDIA vGPU驱动。 GPU直通型实例:根据需求选择GRID驱动版本。 GPU虚拟化型实例:请严格按照下表选择合适的驱动版本下载使用。 表1 GPU实例类型支持的GRID驱动版本 实例类型 GPU挂载方式 操作系统 驱动版本 CPU架构 G6v GPU虚拟化型实例 CentOS
合适的NVIDIA驱动版本。 GPU驱动支持列表 当前GPU驱动支持列表仅针对1.2.28及以上版本的GPU插件。 如果您需要安装最新版本的GPU驱动,请将您的GPU插件升级到最新版本。 表1 GPU驱动支持列表 GPU型号 支持集群类型 机型规格 操作系统 Huawei Cloud
MA-Advisor和Ascend-Insigh工具使用指导 MA-Advisor:一款昇腾迁移性能问题自动诊断工具,能快速分析和诊断昇腾场景下PyTorch性能劣化问题并给出相关调优建议。详细信息,请参见昇腾性能自动诊断工具使用说明。 Ascend-Insight:对于高阶的调优用户,可以使用
Gauge % GPU进程 GPU各进程编码使用率 - cce_gpu_decoder_utilization_process Gauge % GPU进程 GPU各进程解码使用率 - 内存指标 cce_gpu_memory_used Gauge bytes GPU卡 GPU显存使用量 说明:
置为GPU插件配置中指定的版本。 如果需要稳定升级GPU节点驱动,推荐使用通过节点池升级节点的GPU驱动版本。 前提条件 需要使用kubectl连接到集群,详情请参见通过kubectl连接集群。 操作步骤 如果您需要使用指定的NVIDIA驱动版本,可以在节点安装新版本GPU驱动,操作步骤如下:
Standard平台的开发环境和模型训练集成了自动诊断工具msprof-analyze,能快速分析和诊断昇腾场景下PyTorch性能劣化问题并给出相关调优建议。在过往性能调优场景中,如果性能profiling数据在OBS上,通常需要将TB或者GB级别的profiling数据下载至本地后才能使用msp
GPU视图 GPU资源指标可以衡量GPU性能和使用情况,包括GPU的利用率、温度、显存等方面的监控数据,帮助您掌控GPU运行状况。 指标说明 图1 GPU资源指标 表1 GPU图表说明 图表名称 单位 说明 集群-显存使用率 百分比 集群的显存使用率 计算公式:集群内容器显存使用总量/集群内显存总量
GPU A系列裸金属服务器如何进行RoCE性能带宽测试? 场景描述 本文主要指导如何在GPU A系列裸金属服务器上测试RoCE性能带宽。 前提条件 GPU A系列裸金属服务器已经安装了IB驱动。(网卡设备名称可以使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20
etes默认GPU调度模式(支持使用nvidia.com/gpu资源的工作负载)。 在工作负载中声明nvidia.com/gpu资源(即配置nvidia.com/gpu为小数,例如0.5)时将通过虚拟化GPU提供,实现GPU显存隔离,按照设定值的百分比为容器分配GPU显存(例如分配0
移动端排行榜与增值权益设置 移动端排行榜 设置学员在手机端是否可以看到学分、积分数据 操作路径:运营-业务运营工具-移动端排行榜 图1 入口展示 增值权益设置 查看酷来画账号分配情况 图2 增值权益设置 父主题: 运营
GPU A系列裸金属服务器节点内如何进行NVLINK带宽性能测试方法? 场景描述 本文指导如何进行节点内NVLINK带宽性能测试,适用的环境为:Ant8或者Ant1 GPU裸金属服务器, 且服务器中已经安装相关GPU驱动软件,以及Pytorch2.0。 GPU A系列裸金属服务器
GPU相关问题 日志提示"No CUDA-capable device is detected" 日志提示“RuntimeError: connect() timed out” 日志提示“cuda runtime error (10) : invalid device ordinal
GPU调度概述 工作负载支持使用节点GPU资源,GPU资源使用可以分为如下两种模式: GPU静态分配(共享/独享):按比例给Pod分配GPU显卡资源,支持独享(分配单张/多张显卡)和共享(部分显卡)方式。 GPU虚拟化:UCS On Premises GPU采用xGPU虚拟化技术