检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
载OBS至ModelArts环境和msprof-analyze的分析能力,ModelArts Standard 场景下对外提供一种插件化的 advisor 分析能力,详细的操作方式请参见基于advisor的昇腾训练性能自助调优指导。 对于GPU和NPU性能比对、NPU多次训练之间
GPU加速云服务器出现NVIDIA内核崩溃,如何解决? 问题描述 GPU加速型云服务器在运行过程中发生crash,重启云服务器后检查日志,发现没有打印NVIDIA驱动堆栈日志。 图1 堆栈日志信息 可能原因 云服务器在运行过程中遇到NVIDIA官方驱动bug,导致云服务器内核崩溃。
错误码说明 未检查到当前节点存在GPU设备 可能原因 GPU卡类型不匹配,当前IEF仅支持nvidia的GPU设备 GPU设备节点未检测到 处理措施 非nvidia的GPU卡。 安装IEF软件时,不使能GPU设备,或更换nvidia的GPU卡。 未检测到GPU设备。 尝试重启节点。 父主题:
资源准备 在集群中添加GPU节点 登录CCE控制台,单击已创建的集群,进入集群控制台。 安装GPU插件。 在左侧导航栏中选择“插件管理”,在右侧找到gpu-beta(或gpu-device-plugin),单击“安装”。 在安装插件页面,设置插件关键参数。 Nvidia驱动:填写
GPU A系列裸金属服务器如何更换NVIDIA和CUDA? 场景描述 当裸金属服务器预置的NVIDIA版本和业务需求不匹配时,需要更换NVIDIA驱动和CUDA版本。本文介绍华为云A系列GPU裸金属服务器(Ubuntu20.04系统)如何从“NVIDIA 525+CUDA 12.0”更换为“NVIDIA
使用创建时的用户名和密码无法SSH方式登录GPU加速云服务器 处理方法 先使用VNC方式远程登录弹性云服务器,并修改配置文件,然后再使用SSH方式登录。 进入弹性云服务器运行页面,单击“远程登录”。 自动跳转至登录页面,登录root用户,输入密码。 密码为创建弹性云服务器时设置的密码。
单模型性能测试工具Mindspore lite benchmark 在模型精度对齐后,针对Stable Diffusion模型性能调优,您可以通过AOE工具进行自助性能调优,进一步可以通过profiling工具对于性能瓶颈进行分析,并针对性地做一些调优操作。 您可以直接使用ben
20GB的集群性能文件分析,并且能够支持大模型场景下的性能调优,相比于Chrometrace、tensorboard等工具提供了更优的功能和性能。 更多详细信息,请参见昇腾MindStudio-Insight用户指南。 父主题: PyTorch迁移性能调优
Studio,仅能选择按照新版本模式的版本进行购买,具体包含免费版、初级版、专家版和企业版版本。 对于切换前已购买的DataArts Studio,实例依然为旧版本模式的版本,具体包含初级版、基础版、高级版、专业版和企业版版本。 新版本模式相对于旧版本模式,价格门槛更低、资源拓展更加
如何查询显卡在位信息 如何查询NVIDIA的错误信息 如何查询XID报错信息 如何收集NVIDIA日志 如何查询内核信息 如何收集驱动安装信息 父主题: GPU实例故障自诊断
GPU插件关键参数检查异常处理 检查项内容 检查CCE GPU插件中部分配置是否被侵入式修改,被侵入式修改的插件可能导致升级失败。 解决方案 使用kubectl连接集群。 执行以下命令获取插件实例详情。 kubectl get ds nvidia-driver-installer
基于ModelArts Standard运行GPU训练作业 在ModelArts Standard上运行GPU训练作业的场景介绍 在ModelArts Standard运行GPU训练作业的准备工作 在ModelArts Standard上运行GPU单机单卡训练作业 在ModelArts
msprobe工具使用指导 msprobe API预检 msprobe精度比对 msprobe梯度监控 父主题: GPU业务迁移至昇腾训练推理
计算:全面适配华为云各类计算实例,支持虚拟机和裸机混合部署、高性价比鲲鹏实例、GPU和华为云独有的昇腾算力;支持GPU虚拟化、共享调度、资源感知的调度优化。 网络:支持对接高性能、安全可靠、多协议的独享型ELB作为业务流量入口。 存储:对接云存储,支持EVS、SFS和OBS,提供磁盘加密、快照和备份能力。 集
不设最低消费标准。 区域 华北-北京四 选择主机所在区域。购买后无法更换区域,请谨慎选择。 版本规格 旗舰版 HSS提供基础版、专业版、企业版、旗舰版、网页防篡改版和容器版供您选择,不同版本之间功能有所差异,各版本的功能支持详情,请参见产品功能。 企业项目 default 仅当使
面。 执行如下命令查看GPU使用情况。 nvidia-smi 查看当前Notebook实例中有哪些进程使用GPU。 方法一: python /modelarts/tools/gpu_processes.py 如果当前进程使用GPU 如果当前没有进程使用GPU 方法二: 打开文件“
页签,查看GPU节点的IP。本文中以192.168.0.106为例。 登录GPU节点,通过以下命令查看GPU卡的信息。 nvidia-smi 可以看到该机器上存在1张卡GPU0。本文以GPU0为例,定位使用这张卡的Pod。 根据节点IP(即192.168.0.106)和设备号(即第0张卡)定位使用了该卡的Pod。
upyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: GPU相关问题