注意事项 本文旨在指导如何在Snt9b裸金属服务器上，进行磁盘合并挂载、安装docker等环境配置。在配置前请注意如下事项： 首次装机时需要配置存储、固件、驱动、网络访问等基础内容，这部分配置尽量稳定减少变化。 裸机上的开发形式建议开发者启动独立的Docker容器作为个人开发环境。Snt9b的裸机包含8卡算力资源，一般来说多人可以共用这个裸机完成开发与调测工作。多人使用为了避免冲突，建议各自在自己的docker容器中进行独立开发，并提前规划好每个人使用的具体卡号，避免相互影响。 ModelArts提供了标准化基础容器镜像，在容器镜像中已经预置了基础MindSpore或PyTorch框架和开发调测工具链，推荐用户直接使用该镜像，用户也可以使用自己的业务镜像或昇腾AscendHub提供的镜像。如果镜像中预置的软件版本不是您期望的版本，可以自行安装替换。 开发形式推荐通过容器中暴露的SSH端口以远程开发的模式(VSCode SSH Remote、 Xshell)连接到容器中进行开发，可以在容器中挂载宿主机的个人存储目录，用于存放代码和数据。 当前指导中很多操作步骤在最新发放的Snt9b裸机环境中已经预置，无需用户再手动配置，用户在操作中如发现某个步骤已有预置配置可直接跳过该步骤。

安装 CES Agent监控插件 当前账户需要给CES授权委托，请参考创建用户并授权使用 云监控服务 。 当前还不支持在CES界面直接一键安装监控，需要登录到服务器上执行以下命令安装配置Agent。其它region的安装请参考单台主机下安装Agent。 cd /usr/local && curl -k -O https://obs.cn-north-4.myhuaweicloud.com/uniagent-cn-north-4/script/agent_install.sh && bash agent_install.sh 安装成功的标志如下： 图1 安装成功提示 在CES界面查看具体的监控项，加速卡类的监控项必须在主机安装加速卡驱动后才会有相关指标。 图2 监控界面 至此，监控插件已经安装完成，相关指标的采集可以在UI界面直接查看或者根据指标值配置相关告警。

Lite Server支持的事件列表 通过对接CES，可以将业务中的重要事件或对云资源的操作事件收集到CES 云监控 服务，并在事件发生时进行告警。Lite Server支持的事件来源主要是BMS，具体事件列表如下。 表2 Lite Server支持的事件列表 事件来源 命名空间 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 BMS SYS.BMS NPU: npu-smi info查询缺少设备 NPUSMICardNotFound 重要 可能是由于昇腾驱动问题或NPU掉卡 转昇腾和硬件处理 NPU卡无法正常使用 NPU: PCIe链路异常 PCIeErrorFound 重要 lspci显示npu卡处于rev ff状态 转硬件处理 NPU卡无法正常使用 NPU: lspci查询缺少设备 LspciCardNotFound 重要 一般是由于NPU掉卡 转硬件处理 NPU卡无法正常使用 NPU: 温度超过阈值 TemperatureOverUpperLimit 重要 可能是由于DDR颗粒温度过高或过温软件预警 暂停业务，重启系统，查看散热系统，device复位 可能造成过温下电及device丢失 NPU: 存在不可纠正ECC错误 UncorrectableEccErrorWarning 重要 NPU卡出现Uncorrectable ECC Error硬件故障 如果业务受到影响，转硬件换卡 业务可能受到影响终止 NPU: 需要重启实例 RebootVirtualMachine 提示 当前故障很可能需要重启进行恢复 在收集必要信息后，重启以尝试恢复 重启可能中断客户业务 NPU: 需要复位SOC ResetSOC 提示 当前故障很可能需要复位SOC进行恢复 在收集必要信息后，复位SOC以尝试恢复 复位SOC可能中断客户业务 NPU: 需要退出AI任务重新执行 RestartAIProcess 提示 当前故障很可能需要客户退出当前的AI任务并尝试重新执行 在收集必要信息后，尝试退出当前AI任务并尝试重新执行 退出当前AI任务以便重新执行 NPU: errorcode告警 NPUErrorCodeWarning 重要 这里涵盖了大量重要及以上的NPU错误码，您可以根据这些错误码进一步定位错误原因 对照《黑匣子错误码信息列表》和《健康管理故障定义》进一步定位错误 NPU当前存在故障，可能导致客户业务终止 NPU HBM多ECC错误信息 NpuHbmMultiEccInfo 提示 NPU卡存在HBM的ECC错误，此事件上报相应错误信息 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理 NPU: HC CS 交换机端口故障 NpuHccsPortFault 重要 NPU的L1 1520交换机端口发生故障 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理 GPU: RoCE网卡配置错误 GpuRoceNicConfigIncorrect 重要 GPU: RoCE网卡配置错误 联系运维人员协助处理 机器参数面网络异常，多机任务无法执行 OS出现ReadOnly问题 ReadOnlyFileSystem 严重 文件系统%s只读 请检查磁盘健康状态 无法对文件进行写和操作 NPU：驱动固件不匹配 NpuDriverFirmwareMismatch 重要 NPU驱动固件版本不匹配 请从昇腾官网获取匹配版本重新安装 无法正常使用NPU卡 NPU：Docker容器环境检测 NpuContainerEnvSystem 重要 Docker不可用 确认docker软件是否正常 无法使用docker软件 重要 容器插件Ascend-Docker-Runtime未安装 安装容器插件Ascend-Docker-Runtime，否则影响容器使用昇腾卡 docker容器无法挂载NPU卡 重要 操作系统没有开启IP转发功能 请检查/etc/sysctl.conf文件中net.ipv4.ip_forward配置 docker容器无法正常网络通信 重要 容器共享内存过小 共享内存默认为64M，可按需修改 分布式训练时共享内存不足导致训练失败 方式一： 修改/etc/docker/daemon.json配置文件default-shm-size字段 方式二： docker run 命令中使用 --shm-size 参数来设置单个容器的共享内存大小 NPU：RoCE网卡down RoCELinkStatusDown 重要 NPU 卡 %d RoCE Link 状态Down 请检查NPU Roce网口状态 NPU网卡不可用 NPU：RoCE网卡健康状态异常 RoCEHealthStatusError 重要 NPU 卡 %d RoCE 网络健康状态异常 请检查NPU Roce网卡健康状态 NPU网卡不可用 NPU：Roce网卡配置文件/etc/hccn.conf不存在 HccnConfNotExisted 重要 Roce网卡配置文件"/etc/hccn.conf"不存在 请检查/etc/hccn.conf网卡配置文件 Roce网卡不可用 GPU：GPU基本组件异常 GpuEnvironmentSystem 重要 nvidia-smi命令异常 请检查GPU驱动是否正常 GPU卡驱动不可用 重要 nvidia-fabricmanager版本和GPU驱动版本不一致 请检查GPU驱动版本和nvidia-fabricmanager版本 nvidia-fabricmanager 无法正常工作，影响 GPU 的使用 重要 容器插件nvidia-container-toolkit未安装 安装容器插件nvidia-container-toolkit docker无法挂载GPU卡 本地磁盘挂载巡检 MountDiskSystem 重要 /etc/fstab中有无效的UUID 请检查/etc/fstab配置文件中UUID的正确性，否则可能会导致机器重启失败 挂载磁盘错误，导致机器重启异常 GPU：Ant系列机器动态路由配置错误 GpuRouteConfigError 重要 Ant系列机器网卡%s动态路由未配置或配置错误，CMD [ip route]: %s | CMD [ip route show table all]: %s。 请正确配置RoCE网卡路由 NPU网络通信异常 NPU：Roce 端口未散列配置 RoCEUdpConfigError 重要 RoCE UDP端口未散列配置 请检查NPU RoCE UDP端口配置情况 影响NPU卡通信性能 系统内核自动升级预警 KernelUpgradeWarning 重要 系统内核自动升级预警，旧版本：%s，新版本：%s 系统内核升级可能导致配套AI软件异常，请检查系统更新日志，避免机器重启 可能导致配套AI配套软件不可用 NPU环境相关命令检测 NpuToolsWarning 重要 hccn_tool不可用 请检查NPU驱动是否正常 无法配置RoCE网卡的IP、网关 重要 npu-smi不可用 请检查NPU驱动是否正常 无法正常使用NPU卡 重要 ascend-dmi不可用 请检查工具包ToolBox是否正常安装 无法使用ascend-dmi进行性能分析

监控方案介绍 监控概述请参考BMS官方文档。除文档所列支持的镜像之外，目前还支持Ubuntu20.04。 监控指标采样周期1分钟。当前监控指标项已经包含CPU、内存、磁盘、网络。在主机上安装加速卡驱动后，可以自动采集的相关指标。此处仅展示NPU相关指标，其他指标项请参考CES Agent支持的指标列表。 表1 NPU指标列表 英文名称 中文名称 说明 单位 维度 npu_device_health NPU健康状况 NPU卡的健康状况 - instance_id，npu npu_util_rate_mem NPU显存使用率 NPU卡的显存使用率 % instance_id，npu npu_util_rate_ai_core NPU卡AI核心使用率 NPU卡的AI核心使用率 % instance_id，npu npu_util_rate_ai_cpu NPU卡AICPU使用率 NPU卡的AI-CPU使用率 % instance_id，npu npu_util_rate_ctrl_cpu NPU控制CPU使用率 NPU卡的控制CPU使用率 % instance_id，npu npu_util_rate_mem_bandwidth NPU显存带宽使用率 NPU卡的显存带宽使用率 % instance_id，npu npu_freq_mem NPU显存频率 NPU卡的显存频率 MHz instance_id，npu npu_freq_ai_core NPU卡AI核心频率 NPU卡的AI核心时钟频率 MHz instance_id，npu npu_usage_mem NPU显存使用量 NPU卡的显存使用量 MB instance_id，npu npu_sbe NPU单bit错误数量 NPU卡单比特错误数量 count instance_id，npu npu_dbe NPU双bit错误数量 NPU卡双比特错误数量 count instance_id，npu npu_power NPU功率 NPU卡功率 W instance_id，npu npu_temperature NPU温度 NPU卡温度 °C instance_id，npu npu_driver_health NPU驱动健康状况 NPU卡的驱动的健康状况 - instance_id，npu npu_device_network_health NPU网络健康情况 NPU卡的RoCE网卡的IP地址连通情况 - instance_id，npu npu_network_port_link_status NPU网口link状态 NPU卡的对应网口link状态 - instance_id，npu npu_roce_tx_rate NPU网卡上行速率 NPU卡内网卡的上行速率 MB/s instance_id，npu npu_roce_rx_rate NPU网卡下行速率 NPU卡内网卡的下行速率 MB/s instance_id，npu npu_mac_tx_mac_pause_num MAC发送pause帧总数 NPU卡对应MAC 地址发送的 pause帧总报文数 count instance_id，npu npu_mac_rx_mac_pause_num MAC接收pause帧总数 NPU卡对应MAC 地址接收的 pause帧总报文数 count instance_id，npu npu_mac_tx_pfc_pkt_num MAC发送pfc帧总数 NPU卡对应MAC 地址发送的 PFC帧总报文数 count instance_id，npu npu_mac_rx_pfc_pkt_num MAC接收pfc帧总数 NPU卡对应MAC 地址接收的 PFC帧总报文数 count instance_id，npu npu_mac_tx_bad_pkt_num MAC发送坏包总数 NPU卡对应MAC 地址发送的 坏包总数 count instance_id，npu npu_mac_rx_bad_pkt_num MAC接收坏包总数 NPU卡对应MAC 地址接收的 坏包总数 count instance_id，npu npu_roce_tx_err_pkt_num RoCE发送坏包总数 NPU卡内RoCE网卡发送的坏包总数 count instance_id，npu npu_roce_rx_err_pkt_num RoCE接收坏包总数 NPU卡内RoCE网卡接收的坏包总数 count instance_id，npu npu_hbm_freq HBM频率 NPU卡HBM频率 MHz instance_id，npu npu_hbm_usage HBM使用量 NPU卡HBM使用量 MB instance_id，npu npu_hbm_temperature HBM温度 NPU卡HBM温度 °C instance_id，npu npu_hbm_bandwidth_util HBM带宽利用率 NPU卡HBM带宽利用率 % instance_id，npu npu_hbm_ecc_enable HBM ECC开关状态 NPU卡HBM ECC开关状态 - instance_id，npu npu_hbm_single_bit_error_cnt HBM当前单bit错误数量 NPU卡HBM当前单bit错误数量 count instance_id，npu npu_hbm_double_bit_error_cnt HBM当前双bit错误数量 NPU卡HBM当前双bit错误数量 count instance_id，npu npu_hbm_total_single_bit_error_cnt HBM生命周期内单bit错误数量 NPU卡HBM生命周期内单bit错误数量 count instance_id，npu npu_hbm_total_double_bit_error_cnt HBM生命周期内双bit错误数量 NPU卡HBM生命周期内双bit错误数量 count instance_id，npu npu_hbm_single_bit_isolated_pages_cnt HBM单比特错误隔离内存页数量 NPU卡HBM单比特错误隔离内存页数量 count instance_id，npu npu_hbm_double_bit_isolated_pages_cnt HBM多比特错误隔离内存页数量 NPU卡HBM多比特错误隔离内存页数量 count instance_id，npu npu_hbm_mem_capacity NPU的HBM内存容量 该指标描述NPU的HBM内存容量 MB instance_id，npu npu_voltage NPU电压 该指标描述NPU的电压 V instance_id，npu npu_freq_ai_core_rated NPU的AI核心额定频率 该指标描述NPU的AI核心额定频率 MHz instance_id，npu npu_freq_ctrl_cpu NPU的控制CPU频率 该指标描述NPU的控制CPU频率 MHz instance_id，npu npu_aicpu_max_freq NPU的AICPU最大频率 该指标描述NPU的AICPU最大频率 MHz instance_id，npu npu_aicpu_cur_freq NPU的AICPU频率 该指标描述NPU的AICPU频率 MHz instance_id，npu npu_aicpu_avg_util_rate NPU的AICPU平均使用率 该指标描述NPU的AICPU平均使用率 % instance_id，npu npu_aicpu_num NPU的AICPU数量 该指标描述NPU的AICPU数量 count instance_id，npu npu_link_cap_speed NPU链路最大传输速度 该指标描述NPU设备支持的最大传输速度 GT/s instance_id，npu npu_link_cap_width NPU链路最大传输宽度 该指标描述NPU设备支持的最大传输宽度 count instance_id，npu npu_link_status_speed NPU链路当前传输速度 该指标描述NPU设备链路的实际传输速度 GT/s instance_id，npu npu_link_status_width NPU链路当前传输宽度 该指标描述NPU设备链路的实际传输宽度 count instance_id，npu npu_util_rate_hbm NPU的HBM占用率 该指标描述NPU的HBM占用率 % instance_id，npu npu_opt_temperature NPU光模块壳温 该指标描述NPU光模块壳温 °C instance_id，npu npu_opt_temperature_high_thres NPU光模块壳温上限 该指标描述NPU光模块壳温上限 °C instance_id，npu npu_opt_temperature_low_thres NPU光模块壳温下限 该指标描述NPU光模块壳温下限 °C instance_id，npu npu_opt_voltage NPU光模块供电电压 该指标描述NPU光模块供电电压 mV instance_id，npu npu_opt_voltage_high_thres NPU光模块供电电压上限 该指标描述NPU光模块供电电压上限 mV instance_id，npu npu_opt_voltage_low_thres NPU光模块供电电压下限 该指标描述NPU光模块供电电压下限 mV instance_id，npu npu_opt_tx_power_lane0 NPU光模块通道0发送功率 该指标描述NPU光模块通道0发送功率 mW instance_id，npu npu_opt_tx_power_lane1 NPU光模块通道1发送功率 该指标描述NPU光模块通道1发送功率 mW instance_id，npu npu_opt_tx_power_lane2 NPU光模块通道2发送功率 该指标描述NPU光模块通道2发送功率 mW instance_id，npu npu_opt_tx_power_lane3 NPU光模块通道3发送功率 该指标描述NPU光模块通道3发送功率 mW instance_id，npu npu_opt_rx_power_lane0 NPU光模块通道0接收功率 该指标描述NPU光模块通道0接收功率 mW instance_id，npu npu_opt_rx_power_lane1 NPU光模块通道1接收功率 该指标描述NPU光模块通道1接收功率 mW instance_id，npu npu_opt_rx_power_lane2 NPU光模块通道2接收功率 该指标描述NPU光模块通道2接收功率 mW instance_id，npu npu_opt_rx_power_lane3 NPU光模块通道3接收功率 该指标描述NPU光模块通道3接收功率 mW instance_id，npu npu_opt_tx_bias_lane0 NPU光模块通道0发射偏置电流 该指标描述NPU光模块通道0发射偏置电流 mA instance_id，npu npu_opt_tx_bias_lane1 NPU光模块通道1发射偏置电流 该指标描述NPU光模块通道1发射偏置电流 mA instance_id，npu npu_opt_tx_bias_lane2 NPU光模块通道2发射偏置电流 该指标描述NPU光模块通道2发射偏置电流 mA instance_id，npu npu_opt_tx_bias_lane3 NPU光模块通道3发射偏置电流 该指标描述NPU光模块通道3发射偏置电流 mA instance_id，npu npu_opt_tx_los NPU光模块TX Los 该指标描述NPU光模块TX Los flag count instance_id，npu npu_opt_rx_los NPU光模块RX Los 该指标描述NPU光模块RX Los flag count instance_id，npu

AIGC模型 SDXL&SD1.5 ComfyUI插件基于Server适配PyTorch NPU推理指导（6.3.906） LLaVA模型基于Server适配PyTorch NPU预训练指导（6.3.906） LLaVA模型基于Server适配PyTorch NPU推理指导（6.3.906） Qwen-VL基于Server适配Pytorch NPU的Finetune训练指导(6.3.906) Qwen-VL基于Server适配Pytorch NPU的推理指导(6.3.906)

Lite Server使用流程 ModelArts Lite Server提供多样化的xPU裸金属服务器，赋予用户以root账号自主安装和部署AI框架、应用程序等第三方软件的能力，为用户打造专属的云上物理服务器环境。用户只需轻松选择服务器的规格、镜像、网络配置及密钥等基本信息，即可迅速创建弹性裸金属服务器，获取所需的云上物理资源，充分满足算法工程师在日常训练和推理工作中的需求。 本文旨在帮助您了解Lite Server的基本使用流程，帮助您快速上手，使用流程包含以下步骤。 图1 使用流程 资源开通 由于Server为一台裸金属服务器，因此需要先购买资源后才能使用。 首先请联系客户经理确认Server资源方案，部分规格为受限规格，因此需要申请开通您所需的资源规格。 Server所需资源可能会超出华为云默认提供的资源配额（如ECS、EIP、SFS），因此需要提交工单提升资源配额。 为子用户账号开通Server功能所需的基础权限。 由于ModelArts服务在使用过程中会访问其他依赖服务，因此需要给ModelArts进行委托授权。 购买Server资源时，需要选择虚拟私有云用于网络通信，您可以使用已有的虚拟私有云或新创建的虚拟私有云。 若使用密钥对作为登录裸金属服务器的鉴权方式，您可以使用已有的密钥对或新创建的密钥对。 在ModelArts控制台购买Server资源。 资源配置 完成资源购买后，需要对网络、存储、软件环境进行相关配置。 资源使用 完成资源配置后，您可以登录到服务器进行训练和推理，具体案例可参考Lite Server资源使用。 资源管理 Lite Server提供启动、停止、切换操作系统等管理手段，您可在ModelArts控制台上对资源进行管理。 表1 相关名词解释 名词 含义 裸金属服务器 裸金属服务器是一款兼具虚拟机弹性和物理机性能的计算类服务，为您和您的企业提供专属的云上物理服务器，为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 由于Server是一台裸金属服务器，在ModelArts管理控制台购买Server后，会在BMS管理控制台上创建一台与Server对应的裸金属服务器，后续挂载磁盘、绑定弹性网络IP等操作可在BMS服务控制台上完成。 更多裸金属服务器的介绍请见虚拟私有云 VPC。 xPU xPU泛指GPU和NPU。 GPU，即图形处理器，主要用于加速深度学习模型的训练和推理。 NPU，即神经网络处理器，是专门为加速神经网络计算而设计的硬件。与GPU相比，NPU在神经网络计算方面具有更高的效率和更低的功耗。 密钥对 弹性裸金属支持SSH密钥对的方式进行登录，用户无需输入密码就可以登录到弹性裸金属服务器，因此可以防止由于密码被拦截、破解造成的账户密码泄露，从而提高弹性裸金属服务器的安全性。 说明： 为保证云服务器安全，未进行私钥托管的私钥只能下载一次，请妥善保管。 虚拟私有云 虚拟私有云（Virtual Private Cloud，VPC）为裸金属服务器构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云中资源的安全性，简化用户的网络部署。您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与组间的访问规则，加强裸金属服务器的安全保护。更多VPC介绍请见虚拟私有云 VPC。 父主题： Lite Server使用前必读

原因分析 分析EulerOS内核是如何在不知情的情况下升级的： 首先查看当前操作系统内核。 [root@Server-ddff ~]# uname -r 4.18.0-147.5.1.6.h934.eulerosv2r9.x86_64 一般执行如下升级命令，就会导致自动下载和安装高级内核版本。 yum update -y 执行后查看当前可用内核，发现已经新增了内核h998： [root@Server-ddff ~]# [root@Server-ddff ~]# cat /boot/grub2/grub.cfg |grep "menuentry " menuentry 'EulerOS (4.18.0-147.5.1.6.h998.eulerosv2r9.x86_64) 2.0 (SP9x86_64)' --class euleros --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-4.18.0-147.5. 1.6.h934.eulerosv2r9.x86_64-advanced-f6aefacb-f2d3-4809-b708-6ad0357037f5' { menuentry 'EulerOS (4.18.0-147.5.1.6.h934.eulerosv2r9.x86_64) 2.0 (SP9x86_64)' --class euleros --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-4.18.0-147.5. 1.6.h934.eulerosv2r9.x86_64-advanced-f6aefacb-f2d3-4809-b708-6ad0357037f5' { menuentry 'EulerOS (0-rescue) 2.0 (SP9x86_64)' --class euleros --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-0-rescue-advanced-f6aefacb-f2d3-4809-b708-6ad 0357037f5' { [root@Server-ddff ~]# 查看假如reboot（尚未reboot）后默认选择的内核版本： [root@Server-ddff ~]# grub2-editenv list saved_entry=EulerOS (4.18.0-147.5.1.6.h998.eulerosv2r9.x86_64) 2.0 (SP9x86_64) boot_success=0 [root@Server-ddff ~]# 发现默认系统内核已经变为h998，reboot后就会生效。 此时若重启那么内核版本就被升级了。

处理方法 下文中假设当前服务器的内核版本是为4.18.0-147.5.1.6.h934.eulerosv2r9.x86_64，介绍如何避免操作系统内核自动升级。 操作系统内核升级生效，必然需要服务器重启， 因此重启reboot前需要查看当前默认选择的内核版本： [root@Server-ddff ~]# grub2-editenv list saved_entry=EulerOS (4.18.0-147.5.1.6.h998.eulerosv2r9.x86_64) 2.0 (SP9x86_64) boot_success=0 [root@Server-ddff ~]# 如上发现reboot后内核为4.18.0-147.5.1.6.h998.eulerosv2r9.x86_64，和当前内核版本h934不一致，则需要重新设置内核版本与当前版本一致。 查看当前内核版本，并且锁定reboot后默认启动的内核版本，执行如下命令： grub2-set-default 'EulerOS (4.18.0-147.5.1.6.h934.eulerosv2r9.x86_64) 2.0 (SP9x86_64)' 执行后查看默认启动的内核版本是否和上述设置的相同： [root@Server-ddff ~]# grub2-editenv list saved_entry=EulerOS (4.18.0-147.5.1.6.h934.eulerosv2r9.x86_64) 2.0 (SP9x86_64) boot_success=0 [root@Server-ddff ~]# 发现和当前内核一致，因此即使reboot也不会更改服务器的内核版本。 若希望升级指定的操作系统内核，也可以执行grub2-set-default进行设置默认启动内核版本。但操作系统内核升级可能带来的问题。例如在操作系统内核4.18.0-147.5.1.6.h934.eulerosv2r9.x86_64 下安装的nvidia-driver-515，由于执行了yum update并reboot服务器， 发现再次执行nvidia命令时报错： [root@Server-ddff ~]# nvidia-smi NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running. [root@Server-ddff ~]# 此时只能安裝nvidia-driver-515以及配套的cuda版本，安装方法可以参考GP Vnt1裸金属服务器EulerOS 2.9安装NVIDIA 515+CUDA 11.7。

GPU Ant1裸金属服务器支持的镜像详情 镜像名称：Ubuntu-20.04-x86-for-Ant1-BareMetal-with-RoCE-and-GP-515-CUDA-11.7-AIGC(仅限北京四和乌兰察布一) 表10 镜像详情 软件类型 版本详情 操作系统 Ubuntu 20.04 server 64bit 架构类型 x86 RoCE路由配置 不支持自动配置，需创建后手动配置。 镜像名称：Ubuntu-20.04-x86-for-Ant1-BareMetal-with-RoCE-and-NVIDIA-525-CUDA-12.0-AIGC(仅限乌兰察布一) 表11 镜像详情 软件类型 版本详情 操作系统 Ubuntu 20.04 server 64bit 架构类型 x86 RoCE路由配置 不支持自动配置，需创建后手动配置。

GP Vnt1裸金属服务器支持的镜像详情 Vnt1规格在北京四、北京一和上海一虽然规格相同，但是产品的配置、发布时间都存在很大差异，因此镜像不能共用。 镜像名称：Ubuntu-18.04-for-BareMetal-Vnt1-p3-with-NVIDIA-470-CUDA-11.4-Uniagent（仅限于北京一、北京四、广州） 表6 镜像详情 软件类型 版本详情 操作系统 Ubuntu 18.04 server 64bit 内核版本 4.15.0-45-generic 架构类型 x86 驱动版本 470.182.03 cuda 11.4 container-toolkit 1.15.0.-1 mlnx-ofed-linux 5.7-1.0.2.1-ubuntu18.04-x86_64 libnccl2 2.10.3-1 nccl-test v2.13.9 docker 24.0.2 镜像名称：Ubuntu-18.04-for-BareMetal-Vnt1-p6-with-NVIDIA-470-CUDA-11.4-Uniagent（仅限于上海一） 表7 镜像详情 软件类型 版本详情 操作系统 Ubuntu 18.04 server 64bit 内核版本 4.15.0-45-generic 架构类型 x86 驱动版本 470.182.03 cuda 11.4 container-toolkit 1.15.0.-1 mlnx-ofed-linux 5.7-1.0.2.1-ubuntu18.04-x86_64 libnccl2 2.10.3-1 nccl-test v2.13.9 docker 24.0.2 镜像名称：Euler2.9-X86-for-Vnt1-BareMetal（仅限于北京四和上海一） 表8 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.9 64bit 架构类型 x86 镜像名称：CentOS-7.9-64bit-for-BareMetal-Vnt1-with-NVIDIA-515-CUDA-11.7-Uniagent（仅限于北京一、北京四、广州） 表9 镜像详情 软件类型 版本详情 操作系统 CentOS 7.9 64bit 架构类型 x86

GP Ant8裸金属服务器支持的镜像详情 镜像名称：Ubuntu-20.04-for-Ant8-with-RoCE-and-NVIDIA-525-CUDA-12.0-Uniagent 表4 镜像详情 软件类型 版本详情 操作系统 Ubuntu 20.04 server 64bit 内核版本 5.4.0-144-generic 架构类型 x86 驱动版本 525.105.17 cuda 12.0 container-toolkit 1.13.3-1 fabricmanager 525.105.17 mlnx-ofed-linux 5.8-2.0.3.1-ubuntu20.04-x86_64 peer-memory-dkms 1.2-0 libnccl2 2.18.1 nccl-test v.2.13.6 docker 20.10.23 RoCE路由配置 支持 镜像名称：Ubuntu-20.04-for-Ant8-with-RoCE-and-NVIDIA-515-CUDA-11.7-Uniagent（乌兰察布一、北京四、乌兰察布-汽车一） 表5 镜像详情 软件类型 版本详情 操作系统 Ubuntu 20.04 server 64bit 内核版本 5.4.0-144-generic 架构类型 x86 驱动版本 515.105.01 cuda 11.7 container-toolkit 1.13.3-1 fabricmanager 515.105.01-1 mlnx-ofed-linux 5.8-2.0.3.1-ubuntu20.04-x86_64 peer-memory-dkms 1.2-0 libnccl2 2.14.3 nccl-test v.2.13.6 docker 20.10.23 RoCE路由配置 支持

NPU Snt9B裸金属服务器支持的镜像详情 镜像名称：EulerOS2.10-Arm-64bit-for-Snt9B-BareMetal-with-23.0.6-7.1.0.9.220-CANN7.0.1.5 表2 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.10 内核版本 Linux 4.19.90-vhulk2211.3.0.h1543.eulerosv2r10.aarch64 架构类型 aarch64 固件版本 7.1.0.9.220 npu-driver 23.0.6 Ascend-cann-toolkit 7.0.1.5 cann-kernels 7.0.1.5 Ascend-mindx-toolbox 5.0.1.1 Docker 24.0.7 Ascend-docker-runtime 5.0.1.1 MindSpore Lite 2.1.0-cp37-cp37m Mpich 3.2.1 镜像名称：HCE2.0-Arm-64bit-for-Snt9B-BareMetal-with-23.0.6-7.1.0.9.220-CANN7.1.0.5 表3 镜像详情 软件类型 版本详情 操作系统 HCE2.0 内核版本 Linux 5.10.0-60.18.0.50.r865_35.hce2.aarch64 架构类型 aarch64 固件版本 7.1.0.9.220 npu-driver 23.0.6 Ascend-cann-toolkit 7.0.1.5 cann-kernels 7.0.1.5 Ascend-mindx-toolbox 5.0.1.1 Docker 18.09 Ascend-docker-runtime 5.0.1.1 MindSpore Lite 2.1.0-cp37-cp37m Mpich 4.1.3

Lite Server资源配置流程 在开通Lite Server资源后，需要完成相关配置才能使用，配置流程如下图所示。 图1 Lite Server资源配置流程图 表1 Server资源配置流程 配置顺序 配置任务 场景说明 1 配置Lite Server网络 Server资源开通后，需要进行网络配置，才可使其与Internet通信。在后续配置存储和软件环境时需要Server服务器能够访问网络，因此需要先完成网络配置。 2 配置Lite Server存储 Server资源需要挂载数据盘用于存储数据文件，当前支持SFS、OBS、EVS三种 云存储 服务，提供了多种场景下的存储解决方案。 3 配置Lite Server软件环境 不同镜像中预安装的软件不同，您通过Lite Server算力资源和镜像版本配套关系章节查看已安装的软件。当Server服务器中预装的软件无法满足业务需求时，您可在Server服务器中配置所需要的软件环境。 父主题： Lite Server资源配置

查看Lite Server服务器详情 在您创建了Lite Server服务器后，可以通过管理控制台查看和管理您的Lite Server服务器。本节介绍如何查看Lite Server服务器的详细信息，包括名称/ID、磁盘、网卡、规格、镜像等信息。 表1 详情页参数说明 参数名称 说明 名称 Lite Server服务器的名称。 规格 Lite Server服务器的规格。 ID Lite Server服务器的ID，可用于在费用中心查询。 计费模式 Lite Server服务器当前的计费模式。 状态 Lite Server服务器的运行状态。 虚拟私有云 Lite Server服务器创建时绑定的虚拟私有云，单击链接可跳转到虚拟私有云详情页。 裸金属服务器 Lite Server服务器为一台裸金属服务器，单击链接可跳转至对应弹性裸金属服务器的详情页。 镜像 Lite Server服务器的镜像。 创建时间 Lite Server服务器的创建时间。 更新时间 Lite Server服务器的更新时间。 所属订单 Lite Server服务器对应的订单，单击链接可跳转至费用中心。 图1 Lite Server服务器详情 父主题： Lite Server资源管理

操作步骤 使用以下脚本测得GPU服务器内NVLINK带宽性能。 import torch import numpy as np device = torch.device("cuda") n_gpus = 8 data_size = 1024 * 1024 * 1024 # 1 GB speed_matrix = np.zeros((n_gpus, n_gpus)) for i in range(n_gpus): for j in range(i + 1, n_gpus): print(f"Testing communication between GPU {i} and GPU {j}...") with torch.cuda.device(i): data = torch.randn(data_size, device=device) torch.cuda.synchronize() with torch.cuda.device(j): result = torch.randn(data_size, device=device) torch.cuda.synchronize() with torch.cuda.device(i): start = torch.cuda.Event(enable_timing=True) end = torch.cuda.Event(enable_timing=True) start.record() result.copy_(data) end.record() torch.cuda.synchronize() elapsed_time_ms = start.elapsed_time(end) transfer_rate = data_size / elapsed_time_ms * 1000 * 8 / 1e9 speed_matrix[i][j] = transfer_rate speed_matrix[j][i] = transfer_rate print(speed_matrix) 以Ant8 GPU裸金属服务器为例， 其理论GPU卡间带宽为：NVIDIA*NVLink*Bridge for 2GPUS: 400GB/s。使用上述测试脚本测得带宽性能进行如下分析。 正常模式-NVLINK全互通，带宽约为370GB。基本符合预期，且证明Ant GPU裸金属服务器内部GPU间确实走NVLINK模式，且完全互联。 图2 正常模式带宽性能 异常模式-NVLINK部分互通，出现带宽波动较大的情况。如下图中GPU0和GPU4之间带宽远低于理论值， 存在问题。 图3 异常模式带宽性能 出现这种现象， 可尝试重装nvidia/cuda/nvidia-fabricmanager， 重装后再测试又恢复到了正式模式，GPU0和GPU4之间带宽恢复到370GB/s。 可能原因如下，仅供参考： 驱动程序问题：可能是由于驱动程序没有正确安装或配置，导致NVLINK带宽受限。重新安装nvidia驱动、CUDA和nvidia-fabricmanager等软件后，驱动程序可能已经正确配置，从而解决了这个问题。 硬件问题：如果GPU之间的NVLINK连接存在硬件故障，那么这可能会导致带宽受限。重新安装软件后，重启系统，可能触发了某种硬件自检或修复机制，从而恢复了正常的带宽。 系统负载问题：最初测试GPU卡间带宽时，可能存在其他系统负载，如进程、服务等，这些负载会占用一部分网络带宽，从而影响NVLINK带宽的表现。重新安装软件后，这些负载可能被清除，从而使NVLINK带宽恢复正常。