华为云用户手册

常见问题 创建专属资源池时，能选到规格但最终创建时发生报错，提示无可用资源？ 由于专属资源的可选规格是动态监测的，因此在极少数情况下会出现，规格在购买界面可以被选择，但由于没有及时支付和创建资源池，导致该规格售罄创建失败。 建议您在创建界面更换规格重新创建资源池。 为什么无法使用资源池节点上的全部CPU资源？ 由于资源池节点上会安装系统、插件等内容，因此不能完全使用所有资源。例如：资源池节点是8U，节点分配给系统组件部分CPU，可用的资源会小于8U。 建议您在启动任务前，在该资源池的详情页中，单击“节点”页签，查看实际可用的CPU资源。

专属资源池有什么能力？ 新版专属资源池是一个全面的技术和产品的改进，主要能力提升如下： 专属资源池类型归一：不再区分训练、推理专属资源池。如果业务允许，您可以在一个专属资源池中同时跑训练和推理的Workload。同时，也可以通过“设置作业类型”来开启/关闭专属资源池对特定作业类型的支持。 自助专属池网络打通：可以在ModelArts管理控制台自行创建和管理专属资源池所属的网络。若需要在专属资源池的任务中访问自己VPC上的资源，可通过“打通VPC”来实现。 更加完善的集群信息：全新改版的专属资源池详情页面中，提供了作业、节点、资源监控等更加全面的集群信息，可帮助您及时了解集群现状，更好的规划使用资源。 自助管理集群GPU/NPU驱动：每个用户对集群的驱动要求不同，在新版专属资源池列表页中，可自行选择加速卡驱动，并根据业务需要进行立即变更或平滑升级。

专属资源池和公共资源池的能力差异 专属资源池为用户提供独立的计算集群、网络，不同用户间的专属资源池物理隔离，公共资源池仅提供逻辑隔离，专属资源池的隔离性、安全性要高于公共资源池。 专属资源池用户资源独享，在资源充足的情况下，作业是不会排队的；而公共资源池使用共享资源，在任何时候都有可能排队。 专属资源池支持打通用户的网络，在该专属资源池中运行的作业可以访问打通网络中的存储和资源。例如，在创建训练作业时选择打通了网络的专属资源池，训练作业创建成功后，支持在训练时访问SFS中的数据。 专属资源池支持自定义物理节点运行环境相关的能力，例如GPU/Ascend驱动的自助升级，而公共资源池暂不支持。

ModelArts资源池说明 在使用ModelArts进行AI开发时，您可以选择使用如下两种资源池： 专属资源池：专属资源池不与其他用户共享，资源更可控。在使用专属资源池之前，您需要先创建一个专属资源池，然后在AI开发过程中选择此专属资源池。其中专属资源池分为弹性集群和弹性裸金属。 弹性集群：分为Standard弹性集群与Lite弹性集群。其中： Standard弹性集群提供独享的计算资源，使用Modelarts开发平台的训练作业、部署模型以及开发环境时，通过Standard弹性集群的计算资源进行实例下发。 Lite弹性集群面向k8s资源型用户，提供托管式k8s集群，并预装主流AI开发插件以及自研的加速插件，以云原生方式直接向用户提供AI Native的资源、任务等能力，用户可以直接操作资源池中的节点和k8s集群。请参见用户指南（Lite Cluster）。 弹性裸金属：弹性裸金属提供不同型号的xPU裸金属服务器，您可以通过弹性公网IP进行访问，在给定的操作系统镜像上可以自行安装GPU&NPU相关的驱动和其他软件，使用SFS或OBS进行数据存储和读取相关的操作，满足算法工程师进行日常训练的需要。请参见用户指南（Lite Server）。 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。 用户下发训练作业、部署模型、使用开发环境实例等，均可以使用ModelArts提供的公共资源池完成，按照使用量计费，方便快捷。

新版专属资源池有什么能力？ 新版专属资源池是一个全面的技术和产品的改进，主要能力提升如下： 专属资源池类型归一：不再区分训练、推理专属资源池。如果业务允许，您可以在一个专属资源池中同时跑训练和推理的Workload。同时，也可以通过“设置作业类型”来开启/关闭专属资源池对特定作业类型的支持。 自助专属池网络打通：可以在ModelArts管理控制台自行创建和管理专属资源池所属的网络。若需要在专属资源池的任务中访问自己VPC上的资源，可通过“打通VPC”来实现。 更加完善的集群信息：全新改版的专属资源池详情页面中，提供了作业、节点、资源监控等更加全面的集群信息，可帮助您及时了解集群现状，更好的规划使用资源。 自助管理集群GPU/NPU驱动：每个用户对集群的驱动要求不同，在新版专属资源池详情页中，可自行选择加速卡驱动，并根据业务需要进行立即变更或平滑升级。 更细粒度的资源划分（Coming soon）：您可以将已创建的专属资源池划分为多个“小池子”，并给每个小池子以不同的配额和使用权限，做到资源灵活且精细的分配和管理。 更多新的能力和体验，将在后续的版本中不断的提供，期待您有一个良好的使用旅程。

专属资源池使用说明 若您是初次使用专属资源池，建议您可从资源池介绍开始，了解ModelArts提供的资源池详细说明。 在对ModelArts的资源池有一定了解后，若您需要创建一个自己的专属资源池，您可参考购买资源池来进行创建。 专属资源池创建成功后，可在查看资源池详情中查看专属资源池的详细信息。 若专属资源池的规格与您的业务不符，可通过扩缩容资源池来调整专属资源池的规格。 专属资源池提供了动态设置作业类型的功能，可参考修改资源池作业类型更新作业类型。 ModelArts提供了自助升级专属资源池GPU/Ascend驱动的能力，可参考资源池驱动升级进行升级。 当不再需要使用专属资源池时，您可参考删除资源池删除专属资源池。 在使用专属资源池时，可能会存在各种异常，可参考资源池异常处理对使用专属资源池时遇到的异常情况进行处理。 ModelArts提供了对网络的管理，同时支持打通VPC功能，具体可参见ModelArts网络。

在新版专属资源池生效前创建的专属资源池，能否继续使用？ 若您此前已经创建了专属资源池，这些资源池会保留不变，您在ModelArts管理控制台仍旧能看到原来的专属资源池（即弹性集群）管理入口，但不支持在此继续创建专属资源池。ModelArts支持将现有专属资源池迁移到新的体系下，此变更不需要您做任何额外操作，我们会主动与您联系完成变更。同时，此变更不会对专属资源池上运行的Workload有任何影响。您唯一要关注的是后续需要切换到新的专属资源池（即弹性集群New）中管理，其提供了更加完善且易用的管理功能。而对于AI开发者，其提交训练任务或创建推理服务等，没有任何变化影响。

新版专属资源池和旧版专属资源池差异对比 旧版的开发环境/训练专用和部署上线专用专属资源池相互隔离，不能共用，且两者之间使用体验不同、提供的功能也不同。新版专属资源池将两者统一，用户可以通过设置专属资源池支持的作业类型，让资源池支持开发环境、训练作业、推理服务中的一个或多个，购买一份资源，实现多种用途。 新版专属资源池继承了旧版专属资源池的所有功能，并对专属资源池购买和扩缩容功能进行了大幅的体验优化，用户购买新版专属资源池可以获得更流畅、透明的购买体验。 新版专属资源池相比于旧版专属资源池进行了功能增强，使用新版专属资源池，用户可以享受资源池GPU/Ascend驱动自助升级、查看资源池作业排队详情、多个资源池共享一个网络等一系列新增功能，未来还会有更多新增功能将不断开放。

步骤3：（可选）安装CANN Toolkit 当前ModelArts提供的预置镜像中已安装CANN Toolkit，如果需要替换版本或者使用自己的未预置CANN Toolkit的镜像，可参考如下章节进行安装。 查看容器内是否已安装CANN Toolkit，如果显示有版本号则已安装： cat /usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/ascend_toolkit_install.info 如果未安装或需要升级版本，则需要从官网下载相关软件包，其中社区版可以直接下载（下载地址），商用版是权限受控，仅华为工程师和渠道用户有权限下载（下载链接）。 安装CANN Toolkit，注意替换包名。 chmod 700 *.run ./Ascend-cann-toolkit_6.3.RC2_linux-aarch64.run --full --install-for-all 如果已安装，但需要升级版本，注意替换包名： chmod 700 *.run ./Ascend-cann-toolkit_6.3.RC2_linux-aarch64.run --upgrade --install-for-all

步骤4：（可选）安装MindSpore Lite 当前预置镜像中已安装MindSpore Lite，如果需要替换版本或者使用自己的未预置MindSpore Lite的镜像，可参考如下章节进行安装。 查看容器中是否已安装MS Lite，如果已经显示出mindspore-lite软件信息和版本号，则是已经安装好的： pip show mindspore-lite 如果未安装，则从官网下载包（下载链接），下载whl包和tar.gz包并执行安装，注意替换包名： pip install mindspore_lite-2.1.0-cp37-cp37m-linux_aarch64.whl mkdir -p /usr/local/mindspore-lite tar -zxvf mindspore-lite-2.1.0-linux-aarch64.tar.gz -C /usr/local/mindspore-lite --strip-components 1

步骤7：容器环境保存镜像 配置好环境后可以进行业务代码的开发调试。通常为了避免机器重启后环境丢失，建议将已经配好的环境保存成新的镜像，命令如下： # 查看需要保存为镜像的容器ID docker ps # 保存镜像 docker commit 容器ID 自定义镜像 名:自定义镜像tag # 查看已保存的镜像 docker images # 如果需要将镜像分享给其他人在其他环境使用，可将镜像保存为本地文件，该命令耗时较久，保存完后ls可查看到文件 docker save -o 自定义名称.tar 镜像名:镜像tag # 其他机器上使用时加载文件，加载好后docker images即可查看到该镜像 docker load --input 自定义名称.tar 到此环境配置就结束了，后续可以根据相关的迁移指导书做业务迁移到昇腾的开发调测工作。

步骤6：git操作 git clone和git lfs下载大模型可以参考如下操作。 由于欧拉源上没有git-lfs包，所以需要从压缩包中解压使用，在浏览器中输入如下地址下载git-lfs压缩包并上传到服务器的/home目录下，该目录在容器启动时挂载到容器/home_host目录下，这样在容器中可以直接使用。 https://github.com/git-lfs/git-lfs/releases/download/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz 进入容器，执行安装git lfs命令。 cd /home_host tar -zxvf git-lfs-linux-arm64-v3.2.0.tar.gz cd git-lfs-3.2.0 sh install.sh 设置git配置去掉ssl校验。 git config --global http.sslVerify false git clone代码仓，以diffusers为例（注意替换用户个人开发目录）。 # git clone diffusers源码，-b参数可指定分支，注意替换用户个人开发目录 cd /home_host/用户个人目录 mkdir sd cd sd git clone https://github.com/huggingface/diffusers.git -b v0.11.1-patch git clone huggingface上的模型，以SD模型为例。如果下载时若出现“SSL_ERROR_SYSCALL”报错，多重试几次即可。另外由于网络限制以及文件较大，下载可能很慢需要数个小时，如果重试多次还是失败，建议直接从网站下载大文件后上传到服务器/home目录的个人开发目录中。如果下载时需要跳过大文件，可以设置GIT_LFS_SKIP_SMUDGE=1 git lfs install git clone https://huggingface.co/runwayml/stable-diffusion-v1-5 -b onnx 图5 代码下载成功

步骤5：配置pip源和yum源 配置pip源 使用ModelArts提供的预置镜像中pip源已经直接配置好可用，如果用户使用自己的业务镜像，可参考步骤5：（可选）安装pip进行配置。 配置yum源 执行如下命令配置yum源： # 自动配置yum源 wget http://mirrors.myhuaweicloud.com/repo/mirrors_source.sh && bash mirrors_source.sh # 测试 yum update --allowerasing --skip-broken --nobest

步骤6：RoCE网络测试 安装cann-toolkit。 查看服务器是否已安装CANN Toolkit，如果显示有版本号则已安装： cat /usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/ascend_toolkit_install.info 如果未安装，则需要从官网下载相关软件包，其中社区版可以直接下载（下载地址），商用版是权限受控，仅华为工程师和渠道用户有权限下载（下载链接）。 安装CANN Toolkit，注意替换包名。 chmod 700 *.run ./Ascend-cann-toolkit_6.3.RC2_linux-aarch64.run --full --install-for-all 安装mpich-3.2.1.tar.gz。 单击此处下载，并执行以下命令安装： mkdir -p /home/mpich mv /root/mpich-3.2.1.tar.gz /home/ cd /home/;tar -zxvf mpich-3.2.1.tar.gz cd /home/mpich-3.2.1 ./configure --prefix=/home/mpich --disable-fortran make && make install 设置环境变量和编译hccl算子。 export PATH=/home/mpich/bin:$PATH cd /usr/local/Ascend/ascend-toolkit/latest/tools/hccl_test export LD_LIBRARY_PATH=/home/mpich/lib/:/usr/local/Ascend/ascend-toolkit/latest/lib64:$LD_LIBRARY_PATH make MPI_HOME=/home/mpich ASCEND_DIR=/usr/local/Ascend/ascend-toolkit/latest 算子编译完成后显示内容如下： 图11 算子编译完成 单机all_reduce_test。 进入hccl_test目录： cd /usr/local/Ascend/ascend-toolkit/latest/tools/hccl_test 若是单机单卡，则执行： mpirun -n 1 ./bin/all_reduce_test -b 8 -e 1024M -f 2 -p 8 若是单机多卡，则执行： mpirun -n 8 ./bin/all_reduce_test -b 8 -e 1024M -f 2 -p 8 图12 all_reduce_test 多机ROCE网卡带宽测试。 执行以下命令查看昇腾的RoCE IP： cat /etc/hccn.conf 图13 查看昇腾的RoCE IP RoCE测试。 在Session1：在接收端执行-i卡id。 hccn_tool -i 7 -roce_test reset hccn_tool -i 7 -roce_test ib_send_bw -s 4096000 -n 1000 -tcp 在Session2：在发送端执行-i卡id，后面的ip为上一步接收端卡的ip。 cd /usr/local/Ascend/ascend-toolkit/latest/tools/hccl_test hccn_tool -i 0 -roce_test reset hccn_tool -i 0 -roce_test ib_send_bw -s 4096000 -n 1000 address 192.168.100.18 -tcp RoCE测试结果如图： 图14 RoCE测试结果（接收端） 图15 RoCE测试结果（服务端） 当某网卡已经开始RoCE带宽测试时，再次启动任务会有如下报错： 图16 报错信息 需要执行下述命令后关闭roce_test任务后再启动任务。 hccn_tool -i 7 -roce_test reset 可执行如下命令查看网卡状态。 for i in {0..7};do hccn_tool -i ${i} -link -g;done 可执行如下命令查看单节点内网卡IP连通性。 for i in $(seq 0 7);do hccn_tool -i $i -net_health -g;done

步骤2：磁盘合并挂载 成功购买裸金属服务器后，服务器上可能会有多个未挂载的nvme磁盘。因此在首次配置环境前，需要完成磁盘合并挂载。此操作需要放在最开始完成，避免使用一段时间后再挂载会冲掉用户已存储的内容。 首先通过“lsblk”查看是否有3个7T的磁盘未挂载，如下图所示为未挂载。 图1 磁盘未挂载 若是下图所示，每个盘后已有MOUNTPOINT，则代表已经执行过挂载操作，可跳过此章节，只用直接在/home目录下创建自己的个人开发目录即可。 图2 磁盘已挂载 执行自动化挂载脚本，将“/dev/nvme0n1”挂载在“/home”下供每个开发者创建自己的家目录，另两个合并挂载到“/docker”下供容器使用（如果不单独给“/docker”分配较大空间，当多人共用创建多个容器实例时容易将根目录占满）。 cd /root/tools/ sh create_disk_partitions.sh 配置完成后，执行“df -h”可以看到新挂载的磁盘信息。 图3 查看新挂载的磁盘 磁盘合并挂载后，即可在“/home”下创建自己的工作目录，以自己的名字命名。

步骤4：安装docker环境 先执行“docker -v”检查机器是否已安装docker，若已安装，则可跳过此步骤。 安装docker命令如下： yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 使用docker -v检查是否安装成功： 图8 查看docker版本 配置IP转发，用于容器内的网络访问。执行下述命令查看net.ipv4.ip_forward配置项值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果不为1，进行配置： sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward 查看环境是否已安装并配置Ascend-docker-runtime： docker info |grep Runtime 如果输出的runtime为“ascend”，则代表已安装配置好，可跳过此步骤。 图9 Ascend-docker-runtime查询 若未安装，则单击链接下载社区版Ascend Docker Runtime，该软件包是昇腾提供的docker插件，在docker run时可以自动挂载昇腾driver等路径到容器，无需在启动容器时手工指定--device参数。下载好后将包上传到服务器并进行安装。 chmod 700 *.run ./Ascend-hdk-型号-npu-driver_版本号_linux-aarch64.run --install 关于Ascend Docker Runtime的更多使用指导，请参考Ascend Docker Runtime用户指南。 将新挂载的盘设置为docker容器使用路径。 编辑“/etc/docker/daemon.json”文件内容，如果文件不存在则新建即可。 vim /etc/docker/daemon.json 增加如下两项配置，注意insecure-registries行末尾增加一个逗号，保持json格式正确。其中“data_root”代表docker数据存储路径，“default-shm-size”代表容器启动默认分配的共享内容大小，不配置时默认为64M，可以根据需要改大，避免分布式训练时共享内存不足导致训练失败。 图10 docker配置 保存后，执行如下命令重启docker使配置生效： systemctl daemon-reload && systemctl restart docker

步骤5：（可选）安装pip 执行如下命令检查是否已安装pip且pip源正常访问，如果能正常执行，可跳过此章节： pip install numpy 若物理机上没有安装pip，可执行如下命令安装： python -m ensurepip --upgrade ln -s /usr/bin/pip3 /usr/bin/pip 配置pip源。 mkdir -p ~/.pip vim ~/.pip/pip.conf 在“~/.pip/pip.conf”中写入如下内容： [global] index-url = http://mirrors.myhuaweicloud.com/pypi/web/simple format = columns [install] trusted-host=mirrors.myhuaweicloud.com

步骤1：配置超时参数 SSH登录到机器后，查看机器配置的超时参数： echo $TMOUT 如果该值为300，则代表默认空闲等待5分钟后会断开连接，可以增大该参数延长空闲等待时间（若值已经为0可跳过该步骤）。修改方法如下： vim /etc/profile # 在文件最后修改TMOUT值，由300改为0，0表示不会空闲断开 export TMOUT=0 执行命令使其在当前terminal生效： TMOUT=0

场景介绍 当专属资源池中的节点含有GPU/Ascend资源时，用户基于自己的业务，可能会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 驱动升级有两种升级方式：安全升级、强制升级。 安全升级：不影响正在运行的业务，开始升级后会先将节点进行隔离（不能再下发新的作业），待节点上的存量作业运行完成后再进行升级，因需要等待作业完成，故升级周期可能比较长。 强制升级：忽略资源池中正在运行的作业，直接进行驱动升级，可能会导致运行中作业失败，需谨慎选择。

解决方法 ModelArts全局配置的委托权限不足，导致创建失败？ 解决方法请参见ModelArts创建委托授权。 申请的资源中包含受限购买的资源规格，导致购买失败？ 当前modelarts.bm.npu.arm.8snt9b3.d为受限购买，需要提前联系ModelArts运营或提工单申请开通资源规格。 图2 报错信息 E CS 、EVS配额不足，导致创建失败？ 集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小资源会超出华为云默认提供的资源配额，因此需要申请扩大配额。解决方法请参见申请扩大资源配额。 图3 报错信息（1） 图4 报错信息（2） 资源售罄或容量不足，导致创建失败？ 减少资源池节点数量，或提工单给ModelArts申请更多资源。 图5 报错信息 ECS、BMS节点创建失败？ 查看资源池失败报错信息： 包含错误码，如：Ecs.0000时，可查看弹性云服务器 ECS_错误码查看详细的错误信息及处理措施。 包含错误码，如：BMS.0001时，可查看裸金属服务器 BMS_错误码查看详细的错误信息及处理措施。 包含错误码，如：CCE.01400001时，可查看云容器引擎 CCE_错误码查看详细的错误信息及处理措施 其他报错请提工单联系ModelArts运维进一步定位解决。 集群纳管节点失败？ 查看资源池失败报错信息： 查看资源池失败报错信息，包含错误码，如：CCE.01400001时，可查看云容器引擎 CCE_错误码查看详细的错误信息及处理措施。 其他报错请提工单联系ModelArts运维进一步定位解决。 集群容器网段不足，导致创建失败？ 图6 报错信息 用户可根据实际业务场景和节点规模，自定义配置容器网段，配置方式如下： ModelArts Standard池，资源池创建阶段指定容器网段，根据实际需要设置更大的容器网段。 图7 设置容器网段 ModelArts Lite池，选择/创建具有更大容器网段的CCE集群。CCE容器网段配置参见网络规划。 账号冻结导致创建失败？ 查看资源池失败报错信息，存在"frozen deposit fail"，表示账号冻结导致资源创建失败。检查账号状态和资源欠费情况，账号解冻后重新购买资源。 订单取消导致资源创建失败？ 查看资源池失败报错信息，存在"the operation is canceled by customer"，表示资源池对应订单已取消，取消原因可能为超时未支付、用户自主取消，需重新购买。 其他错误 可通过F12查看浏览器请求信息，选择标红的pools接口，查看响应里的详细报错信息，如下图所示。通过错误提示修正输入参数后再次提交订单。 图8 报错信息 如CCE集群不可用，请检查CCE集群版本和状态。报错信息如下： { "error_code": "ModelArts.50004000", "error_msg": "Bad request. spec.clusters[0].providerId: Invalid value: \"77f6f112-a631-11eb-8dae-0255ac100b0d\": the cluster 77f6f112-a631-11eb-8dae-0255ac100b0d is not available" }

使用前须知 ModelArts Lite Server存在以下使用限制： ModelArts Lite DevServer服务器操作系统升级/修改风险 ModelArts Lite DevServer裸金属服务器，如果升级/修改操作系统内核或者驱动，很可能导致驱动和内核版本不兼容，从而导致OS无法启动，或者基本功能不可用。如果需要升级/修改，请联系华为云技术支持。相关高危命令如：apt-get upgrade。 部分ModelArts Lite DevServer服务器不支持重装系统 如表1所示，弹性云服务器不支持重装操作系统，部分区域的裸金属服务器不支持重装操作系统，若您想重装操作系统，您可通过切换操作系统的方式解决。 表1 重装和切换操作系统能力介绍 功能 弹性云服务器 裸金属服务器 所在区域为华东二Region 所在区域为其他Region 重装操作系统 不支持 不支持 支持 切换操作系统 支持 支持 支持 重装或者切换操作系统后，ModelArts Lite Server服务器的EVS系统盘将不支持扩容 服务器在进行过“重装或者切换操作系统”操作后，EVS系统盘ID发生变化，和下单时订单中的EVS ID已经不一致， 因此EVS系统盘无法扩容，并显示信息："当前订单已到期，无法进行扩容操作，请续订"。建议挂载数据盘EVS或挂载SFS盘等方式进行存储扩容。 表2 扩容能力介绍 功能 弹性云服务器 裸金属服务器 所在区域为华东二Region 所在区域为其他Region 系统盘ID无变化下扩容 支持 支持 支持 系统盘ID有变化下扩容 不支持 不支持 不支持 父主题： Server资源配置

约束与限制 该功能只支持贵阳一区域，如果要在其他区域使用请联系技术支持。 ModelArts Lite资源池对应的CCE集群需要安装1.10.12及以上版本的华为云版Volcano插件。Volcano调度器的安装升级请参见Volcano调度器。仅华为云版Volcano插件支持开启路由加速特性。 训练使用的Python版本是3.7或3.9，否则无法实现ranktable路由加速。 训练作业的任务节点数要大于或等于3，否则会跳过ranktable路由加速。建议在大模型场景（512卡及以上）使用ranktable路由加速。 脚本执行目录不能是共享目录，否则ranktable路由加速会失败。 路由加速的原理是改变rank编号，所以代码中对rank的使用要统一，如果rank的使用不一致会导致训练异常。

系统内核与gpu-driver配套关系 表4 系统内核与gpu-driver配套关系 镜像版本 系统内核版本 适配CCE gpu-driver版本 EulerOS 2.10 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.(23|25|27|28).* 容器隧道网络|VPC|ENI 470.57.02 4.18.0-147.5.2.5.h805.eulerosv2r10.x86_64 v1.(23|25|27).* 容器隧道网络|VPC|ENI 470.57.02 EulerOS 2.9 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 v1.(23|25|27|28).* 容器隧道网络|VPC 470.57.02 EulerOS 2.3 3.10.0-514.44.5.10.h193.x86_64 v1.(23|25).* 容器隧道网络|VPC 470.57.02 3.10.0-514.44.5.10.h254.x86_64 v1.(23|25).* 容器隧道网络|VPC 470.57.02

弹性云服务器的对应的软件配套版本 表2 弹性云服务器 类型 卡类型 操作系统 适用范围 依赖插件 NPU ascend-snt3p-300i 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard、 CCE Turbo 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC|ENI 集群转发模式：iptables|ipvs huawei-npu npu-driver volcano 插件版本匹配关系请见表3。 ascend-snt3 操作系统：EulerOS 2.5 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs 操作系统：EulerOS 2.8 架构类型：arm 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs GPU gp-vnt1 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs gpu-beta gpu-driver rdma-sriov-dev-plugin 插件版本匹配关系请见表3。 gp-ant03 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs gp-ant1-pcie40 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs gp-tnt004 操作系统：EulerOS 2.9 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs

插件版本与CCE集群版本适配关系 表3 插件版本与CCE集群版本适配关系 类别 插件名称 插件版本 适配CCE集群版本 适用范围、约束 插件功能描述 ccePlugin gpu-beta 2.0.48（仅适用于北京四、贵阳一、广州一、上海一、乌兰察布一、北京二、乌兰察布汽车，其余region暂不支持。） v1.(23|25).* GPU 支持在容器中使用GPU显卡的设备管理插件。 1.2.15 v1.23.* huawei-npu 1.2.5 v1.(23|25).* NPU 支持容器里使用huawei NPU设备的管理插件。 volcano 1.11.9 v1.(23|25).* NPU 基于Kubernetes的批处理平台。 npuDriver npu-driver 7.1.0.7.220-23.0.5（推荐） 无约束 NPU 用于升级、回滚npu驱动。 helm rdma-sriov-dev-plugin 0.1.0 无约束 BMS、RDMA且非ascend-1980 用于支持容器里使用RDMA网卡。 memarts 3.23.6-r002 无约束 无约束 近计算侧分布式缓存插件，用于存储加速。 os-node-agent 6.2.0-20230925213538 无约束 无约束 OS插件，用于故障检测。 icAgent icagent default CCE默认安装当前适配版本 无约束 CCE基础组件，用于日志和监控。 gpuDriver gpu-driver gpu-driver与系统内核版本有关，请见表4。 用于升级、回滚gpu驱动，插件依赖gpu-beta版本。

裸金属服务器的对应的软件配套版本 表1 裸金属服务器 类型 卡类型 RDMA网络协议 操作系统 适用范围、约束 依赖插件 NPU ascend-snt9b RoCE 操作系统：EulerOS 2.10 64bit 内核版本：4.19.90-vhulk2211.3.0.h1543.eulerosv2r10.aarch64 架构类型：aarch64 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 集群转发模式：iptables|ipvs huawei-npu npu-driver volcano 插件版本匹配关系请见表3。 RoCE 操作系统：Huawei Cloud EulerOS 2.0 64bit 内核版本：5.10.0-60.18.0.50.r865_35.hce2.aarch64 架构类型：aarch64 集群类型：CCE Turbo 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：ENI 集群转发模式：iptables|ipvs RoCE 操作系统：EulerOS 2.8 64bit 内核版本：4.19.36-vhulk1907.1.0.h619.eulerosv2r8.aarch64 架构类型：aarch64 集群类型：CCE Standard|Turbo 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC|ENI 集群转发模式：iptables|ipvs GPU gp-ant8 RoCE 操作系统：EulerOS 2.10 64bit 内核版本：4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 分布式训练时仅支持容器隧道网络 集群转发模式：iptables|ipvs gpu-beta gpu-driver rdma-sriov-dev-plugin 插件版本匹配关系请见表3。 gp-ant1 RoCE 操作系统：EulerOS 2.10 64bit 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 架构类型：x86 集群类型：CCE Standard 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 分布式训练时仅支持容器隧道网络 集群转发模式：iptables|ipvs gp-vnt1 RoCE|IB 操作系统：EulerOS 2.9 64bit（仅上海一p6|p6s规格使用） 内核版本：147.5.1.6.h1099.eulerosv2r9.x86_64 架构类型：x86 集群类型：CCE Standard| 集群版本：v1.23|v1.25 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 分布式训练时仅支持容器隧道网络 集群转发模式：iptables|ipvs 操作系统：EulerOS 2.9 64bit（推荐） 内核版本：4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 架构类型：x86 RDMA：Remote Direct Memory Access（RDMA）是一种直接内存访问技术，将数据直接从一台计算机的内存传输到另一台计算机。 RoCE：RDMA over Converged Ethernet（RoCE）是一种网络协议，允许应用通过以太网实现远程内存访问。 IB：InfiniBand (IB) 是一种高性能计算机网络通信协议，专为高性能计算和数据中心互连设计。

风险操作 当您在CCE、ECS或BMS服务控制台直接操作ModelArts Lite k8s Cluster资源时，可能会导致资源池部分功能异常，下表可帮助您定位异常出现的原因，风险操作包括但不限于以下内容： 表1 操作及其对应风险 类型 操作 风险 集群 升级、修改、休眠集群、删除集群等。 可能影响ModelArts侧基本功能，包括但不限于资源池管理、节点管理、扩缩容、驱动升级等。 节点 退订、移除、关机、污点管理、修改登录密码、修改网络安全组、切换/重装操作系统等。 可能影响ModelArts侧基本功能，包括但不限于节点管理、扩缩容、驱动升级等。 网络 修改/删除集群关联网段。 影响ModelArts侧基本功能，包括但不限于节点管理、扩缩容、驱动升级等。 插件 升级、卸载gpu-beta插件。 可能导致NPU驱动使用异常。 升级、卸载huawei-npu插件。 可能导致NPU驱动使用异常。 升级、卸载volcano插件。 可能导致作业调度异常。 卸载ICAgent插件。 可能导致日志、监控功能异常。 helm 升级、回退、卸载os-node-agent。 可能影响节点故障检测。 升级、回退、卸载rdma-sriov-dev-plugin。 可能影响容器内使用RDMA网卡。 父主题： Lite Cluster资源使用

kubectl工具配置 本文介绍如何配置kubectl工具，操作步骤如下。 进入专属资源池。 图1 专属资源池页签 单击创建的专属资源池，进入专属资源池详情页面。 图2 专属资源池详情 单击对应的CCE集群，进入CCE集群详情页面，在“集群信息”找到“连接信息”。 图3 链接信息 使用kubectl工具。 若通过内网使用kubectl工具，需要将kubectl工具安装在和集群在相同vpc下的某一台机器上。单击kubectl后的“配置”按钮。按照界面提示步骤操作即可。 图4 通过内网使用kubectl工具 通过公网使用kubectl工具，可以将kubectl安装在任一台可以访问公网的机器。 首先需要绑定公网地址，单击公网地址后的“绑定”按钮。 图5 绑定公网地址 选择公网IP，或者跳至创建，创建新的弹性公网IP。 创建公网IP完成后，返回CCE集群详情页面，在“集群信息”找到“连接信息”。单击kubectl后的“配置”按钮。 按照界面提示步骤操作即可。 图6 配置kubectl 验证。 在安装了kubectl工具的机器上执行如下命令，显示集群节点即为成功。 kubectl get node 父主题： Lite Cluster资源配置

场景描述 在Ubuntu 20.04每次内核升级后，系统需要重新启动以加载新内核。如果您已经安装了自动更新功能，则系统将自动下载和安装可用的更新，这可能导致系统在不经意间被重启，若使用的软件依赖于特定版本的内核，那么当系统自动更新到新的内核版本时，可能会出现兼容性问题。在使用Ubuntu20.04时，建议手动控制内核的更新。 禁用自动更新可能会导致您的系统变得不安全，因为您需要手动安装重要的安全补丁。在禁用自动更新之前，请确保您已了解其中的风险。

操作指导 检查当前内核版本。 uname -r 升级内核 apt-get install linux-headers-5.4.0-144-generic linux-image-5.4.0-144-generic grub-mkconfig -o /boot/efi/EFI/ubuntu/grub.cfg reboot 第一条命令为安装Linux内核头文件和内核镜像，其中版本为5.4.0-144-generic。 第二条命令为重新生成GRUB引导程序的配置文件，用于在启动计算机时加载操作系统， 命令将使用新安装的内核镜像更新GRUB的配置文件，以便在下次启动时加载新的内核。