检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看ModelArts训练作业资源占用情况？ 在ModelArts管理控制台，选择“模型训练>训练作业”，进入训练作业列表页面。在训练作业列表中，单击目标作业名称，查看该作业的详情。您可以在“资源占用情况”页签查看到如下指标信息。 CPU：CPU使用率（cpuUsage）百分比（Percent）。
内存不足如何处理？ 问题现象 在部署或升级在线服务时，如果部署或升级失败，并且在事件中出现如下类似提示。 图1 内存不足提示样例1 运行中服务出现告警时，在事件中出现建议：内存不足，请增加内存。 图2 内存不足提示样例2 原因分析 部署或升级时出现该提示，可能原因是选择的计算节点
GPU A系列裸金属服务器无法获取显卡如何解决 问题现象 在A系列裸金属服务器上使用PyTorch一段时间后，出现获取显卡失败的现象，报错如下： > torch.cuda.is_available() /usr/local/lib/python3.8/dist-packages/torch/cuda/__init__
A系列裸金属服务器如何进行RoCE性能带宽测试？ 场景描述 本文主要指导如何在GPU A系列裸金属服务器上测试RoCE性能带宽。 前提条件 GPU A系列裸金属服务器已经安装了IB驱动。（网卡设备名称可以使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20
A系列裸金属服务器节点内如何进行NVLINK带宽性能测试方法？ 场景描述 本文指导如何进行节点内NVLINK带宽性能测试，适用的环境为：Ant8或者Ant1 GPU裸金属服务器， 且服务器中已经安装相关GPU驱动软件，以及Pytorch2.0。 GPU A系列裸金属服务器，单台服务
查看Lite Server服务器详情 在您创建了Lite Server服务器后，可以通过管理控制台查看和管理您的Lite Server服务器。本节介绍如何查看Lite Server服务器的详细信息，包括名称/ID、规格、镜像等信息。 在弹性节点Server的节点列表页中，可以查看
IDIA GPU直接进行内存访问(DMA)。这意味着数据可以直接在多个GPU之间传输，而无需经过CPU或系统内存，这可以显著降低延迟并提高带宽。 所以既然nccl-tests能正常测试， 但是达不到预期，可能是nv_peer_mem异常。 处理方法 查看nv_peer_mem是否已安装。
否，提高训练作业使用的资源规格或者联系技术支持。 重启训练作业，使用CloudShell登录训练容器监控内存指标，确认是否有突发性的内存增加现象。 是，排查内存突发增加的时间点附近的训练作业日志，优化对应的代码逻辑，减少内存申请。 否，提高训练作业使用的资源规格或者联系技术支持。 父主题： 训练作业运行失败
在JupyterLab浏览器左侧导航删除文件后，会默认放入回收站占用内存，导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间，再查看回收站文件占用内存，根据实际删除回收站里不需要的大文件。 在Notebook实例详情页，查看实例的存储容量。 执行如下命令，排查虚拟机所使用的存储空间，一般接近存储容量，请排查回收站占用内存。
如何查看ModelArts消费详情？ 在“费用中心”，您可以根据需求按照账期、产品类型等查询ModelArts的消费详情。本章节以查询“账单详情”为例指导您查看计费情况，如需了解更多的账单情况，请参见查看费用账单。 查询方法： 单击右上方的“费用中心 > 费用账单”进入费用中心详情页面，在左侧导航栏选择“账单管理
操作三：鼠标悬浮在图片上的时间节点，可查看对应时间节点的占用率情况。 图1 资源占用情况 表1 参数说明 参数 说明 cpuUsage cpu使用率。 gpuMemUsage gpu内存使用率。 gpuUtil gpu使用情况。 memUsage 内存使用率。 npuMemUsage npu内存使用率。 npuUtil
GPU A系列裸金属服务器如何更换NVIDIA和CUDA？ 场景描述 当裸金属服务器预置的NVIDIA版本和业务需求不匹配时，需要更换NVIDIA驱动和CUDA版本。本文介绍华为云A系列GPU裸金属服务器（Ubuntu20.04系统）如何从“NVIDIA 525+CUDA 12.0”更换为“NVIDIA
如何查看ModelArts的Notebook使用的cuda版本？ 执行如下命令查看环境中的cuda版本。 ll /usr/local | grep cuda 举例： 图1 查看当前环境的cuda版本 如图1所示，当前环境中cuda版本为10.2 父主题： Standard Notebook
GPU裸金属服务器无法Ping通如何解决 问题现象 在华为云使用GPU裸金属服务器时， 服务器绑定EIP（华为云弹性IP服务）后，出现无法ping通弹性公网IP现象。 原因分析 查看当前GPU裸金属服务器的安全组的入方向规则的配置，发现仅开通了TCP协议的22端口。 ping命令
（可选）本地服务器安装ModelArts SDK 如果需要在个人PC或虚拟机上使用ModelArts SDK，则需要在本地环境中安装ModelArts SDK，安装后可直接调用ModelArts SDK轻松管理数据集、创建ModelArts训练作业及创建AI应用，并将其部署为在线服务。
GPU裸金属服务器使用EulerOS内核误升级如何解决 问题现象 GP Vnt1裸金属服务器，操作系统为EulerOS 2.9(基于CentOS制作的Linux发行版)，经常遇到服务器重启后，操作系统内核无故升级，导致系统上原安装的nvidia-driver等软件无法使用，只能卸载重新安装。
特权池信息数据显示均为0%如何解决？ 问题现象 特权池基本信息页面数据均显示为0%（如CPU使用率、内存使用率、加速卡使用率、加速卡显存使用率）。 原因分析 原因是集群没有安装ICAgent。新建特权池时默认会安装ICAgent，可能由于用户自行卸载ICAgent，导致资源池数据显示异常。
创建模型成功后，部署服务报错，如何排查代码问题 问题现象 创建模型成功后，部署服务失败，如何定位是模型代码编写有问题。 原因分析 用户自定义镜像或者通过基础镜像导入的模型时，用户自己编写了很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。
同步Lite Server服务器状态 Lite Server为一台弹性裸金属服务器，当用户在云服务器页面修改了裸金属服务器状态后，您可通过“同步”功能，同步其状态至ModelArts。 登录ModelArts管理控制台。 在左侧导航栏中，选择“AI专属资源池 > 弹性节点 Server”，进入“节点”列表页面。
据和算法至OBS（首次使用时需要）。 ECS服务器和SFS的共享硬盘在相同的VPC或者对应VPC能够互联。 ECS服务器基础镜像需要用Ubuntu 18.04的。 ECS服务器和SFS Turbo需要在同一子网中。 操作步骤 在ECS服务器中设置华为云镜像源。 sudo sed -i
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
