AI开发平台MODELARTS-华为云

AI开发平台MODELARTS-在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练:场景描述

场景描述 ranktable路由规划是一种用于分布式并行训练中的通信优化能力，在使用NPU的场景下，支持对节点之间的通信路径根据交换机实际topo做网络路由亲和规划，进而提升节点之间的通信速度。本案例介绍如何在ModelArts Lite场景下使用ranktable路由规划完成Pytorch NPU分布式训练任务，训练任务默认使用Volcano job形式下发到Lite资源池集群。图1 任务示意图

AI开发平台MODELARTS

AI开发平台MODELARTS-在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练:约束与限制

约束与限制该功能只支持贵阳一区域，如果要在其他区域使用请联系技术支持。 ModelArts Lite资源池对应的CCE集群需要安装1.10.12及以上版本的华为云版Volcano插件。Volcano调度器的安装升级请参见Volcano调度器。仅华为云版Volcano插件支持开启路由加速特性。训练使用的Python版本是3.7或3.9，否则无法实现ranktable路由加速。训练作业的任务节点数要大于或等于3，否则会跳过ranktable路由加速。建议在大模型场景（512卡及以上）使用ranktable路由加速。脚本执行目录不能是共享目录，否则ranktable路由加速会失败。路由加速的原理是改变rank编号，所以代码中对rank的使用要统一，如果rank的使用不一致会导致训练异常。

AI开发平台MODELARTS

AI开发平台MODELARTS-Lite Cluster使用流程

Lite Cluster使用流程 ModelArts Lite Cluster面向k8s资源型用户，提供托管式k8s集群，并预装主流AI开发插件以及自研的加速插件，以云原生方式直接向用户提供AI Native的资源、任务等能力，用户可以直接操作资源池中的节点和k8s集群。本文旨在帮助您了解Lite Cluster的基本使用流程，帮助您快速上手。图1 资源池架构图如图所示为Lite Cluster架构图。Lite Cluster基于CCE服务实现对资源节点的管理，因此，用户首先需要购买一个CCE集群。在ModelArts控制台购买Lite Cluster集群时，ModelArts的资源池会先纳管这个CCE集群，然后根据用户设置的规格创建相应的计算节点（BMS/E CS ）。随后，CCE会对这些节点进行纳管，并且ModelArts会在CCE集群中安装npuDriver、os-node-agent等插件。完成Cluster资源池的购买后，您即可对资源进行配置，并将数据上传至存储云服务中。当您需要使用集群资源时，可以使用kubectl工具或k8s API来下发作业。此外，ModelArts还提供了扩缩容、驱动升级等功能，方便您对集群资源进行管理。图2 使用流程推荐您根据以下使用流程对Lite Cluster进行使用。资源开通：您需要开通资源后才可使用Lite Cluster，在开通资源前，请确保完成所有相关准备工作，包括申请开通所需的规格和进行权限配置。随后，在ModelArts控制台上购买Lite Cluster资源。请参考Lite Cluster资源开通。资源配置：完成资源购买后，需要对网络、存储、驱动进行相关配置。请参考Lite Cluster资源配置。资源使用：完成资源配置后，您可以使用集群资源运行训练和推理训练，具体案例可参考Lite Cluster资源使用。资源管理：Lite Cluster提供扩缩容、驱动升级等管理手段，您可在ModelArts控制台上对资源进行管理。请参考Lite Cluster资源管理。表1 相关名词解释名词含义容器容器技术起源于Linux，是一种内核虚拟化技术，提供轻量级的虚拟化，以便隔离进程和资源。尽管容器技术已经出现很久，却是随着Docker的出现而变得广为人知。Docker是第一个使容器能在不同机器之间移植的系统。它不仅简化了打包应用的流程，也简化了打包应用的库和依赖，甚至整个操作系统的文件系统能被打包成一个简单的可移植的包，这个包可以被用来在任何其他运行Docker的机器上使用。 Kubernetes Kubernetes是一个开源的容器编排部署管理平台，用于管理云平台中多个主机上的容器化应用。Kubernetes的目标是让部署容器化的应用简单并且高效，Kubernetes提供了应用部署、规划、更新、维护的一种机制。使用Lite Cluster需要用户具备一定的Kubernetes知识背景，您可参考Kubernetes基础知识。 CCE 云容器引擎（Cloud Container Engine，简称CCE）是一个企业级的Kubernetes集群托管服务，支持容器化应用的全生命周期管理，为您提供高度可扩展的、高性能的云原生应用部署和管理方案。CCE官网文档可参考云容器引擎。 BMS 裸金属服务器（Bare Metal Server）是一款兼具虚拟机弹性和物理机性能的计算类服务，为您和您的企业提供专属的云上物理服务器，为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 ECS 弹性云服务器（Elastic Cloud Server）是一种可随时自助获取、可弹性伸缩的云服务器，可帮助您打造可靠、安全、灵活、高效的应用环境，确保服务持久稳定运行，提升运维效率。 os-node-agent ModelArts Lite k8s Cluster节点默认会安装os-node-agent插件，用于对节点进行管理，例如：驱动升级：通过os-node-agent插件下载驱动文件并进行驱动版本升级、回退。故障检测：通过os-node-agent插件在系统内周期性巡检故障特征，及时发现节点故障。指标采集：通过os-node-agent插件采集GPU/NPU利用率指标等重要的观测数据，上报到租户侧 AOM 。节点运维：授权后，通过os-node-agent插件执行诊断脚本，进行故障定位定界。父主题： Lite Cluster使用前必读

AI开发平台MODELARTS

AI开发平台MODELARTS-Lite Cluster资源管理介绍

Lite Cluster资源管理介绍在ModelArts控制台，您可以对已创建的资源进行管理。通过单击资源池名称，可以进入到资源池详情页，您可以在详情页进行下述操作。管理Lite Cluster节点：节点是容器集群组成的基本元素，您可以对资源池内单节点进行替换、删除、重置等操作。管理Lite Cluster节点池：为帮助您更好地管理Kubernetes集群内的节点，ModelArts支持通过节点池来管理节点。节点池是集群中具有相同配置的一组节点，一个节点池包含一个节点或多个节点，您可以创建、更新和删除节点池。管理Lite Cluster资源池标签：ModelArts支持为资源池添加标签，用来标识云资源，方便您快速搜索到资源池。扩缩容Lite Cluster资源池：当Cluster资源池创建完成，使用一段时间后，由于用户AI开发业务的变化，对于资源池资源量的需求可能会产生变化，面对这种场景，ModelArts提供了扩缩容功能，用户可以根据自己的需求动态调整。升级Lite Cluster资源池驱动：当资源池中的节点含有GPU/Ascend资源时，用户基于自己的业务，可能会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。监控Lite Cluster资源：ModelArts支持使用AOM和Prometheus对资源进行监控，方便您了解当前的资源使用情况。释放Lite Cluster资源：针对不再使用的Lite Cluster资源，您可以释放资源。图1 Lite Cluster资源管理介绍父主题： Lite Cluster资源管理

AI开发平台MODELARTS Lite Cluster资源管理

AI开发平台MODELARTS-不同机型的对应的软件配套版本:插件版本与CCE集群版本适配关系

插件版本与CCE集群版本适配关系表3 插件版本与CCE集群版本适配关系类别插件名称插件版本适配CCE集群版本适用范围、约束插件功能描述 ccePlugin gpu-beta 2.0.48（推荐） v1.(23|25).* GPU 支持在容器中使用GPU显卡的设备管理插件。 1.2.15 v1.23.* huawei-npu 2.1.5（推荐） v1.(23|25).* NPU 支持容器里使用huawei NPU设备的管理插件。 volcano 1.11.9（推荐） v1.(23|25).* NPU 基于Kubernetes的批处理平台。 npuDriver npu-driver 7.1.0.7.220-23.0.5（推荐） 7.1.0.5.220-23.0.3 无约束 NPU 用于升级、回滚npu驱动。 helm rdma-sriov-dev-plugin 0.1.0 无约束 BMS、RDMA且非ascend-1980 用于支持容器里使用RDMA网卡。 memarts 3.23.6-r002 无约束无约束近计算侧分布式缓存插件，用于存储加速。 os-node-agent 6.5.0-20240529142433 无约束无约束 OS插件，用于故障检测。 icAgent icagent default CCE默认安装当前适配版本无约束 CCE基础组件，用于日志和监控。 gpuDriver gpu-driver 515.65.01（推荐） 510.47.03 470.182.03 470.57.02 gpu-driver与系统内核版本有关，请见表4。用于升级、回滚gpu驱动，插件依赖gpu-beta版本。

AI开发平台MODELARTS Lite Cluster使用前必读

AI开发平台MODELARTS-不同机型的对应的软件配套版本:系统内核与gpu-driver配套关系

系统内核与gpu-driver配套关系表4 系统内核与gpu-driver配套关系镜像版本系统内核版本适配CCE gpu-driver版本 EulerOS 2.10 4.18.0-147.5.2.15.h1109.eulerosv2r10.x86_64 v1.(23|25|27|28).* 容器隧道网络|VPC|ENI 470.57.02 4.18.0-147.5.2.5.h805.eulerosv2r10.x86_64 v1.(23|25|27).* 容器隧道网络|VPC|ENI 470.57.02 EulerOS 2.9 4.18.0-147.5.1.6.h841.eulerosv2r9.x86_64 v1.(23|25|27|28).* 容器隧道网络|VPC 470.57.02 EulerOS 2.3 3.10.0-514.44.5.10.h193.x86_64 v1.(23|25).* 容器隧道网络|VPC 470.57.02 3.10.0-514.44.5.10.h254.x86_64 v1.(23|25).* 容器隧道网络|VPC 470.57.02

AI开发平台MODELARTS Lite Cluster使用前必读

AI开发平台MODELARTS-不同机型的对应的软件配套版本:裸金属服务器的对应的软件配套版本

AI开发平台MODELARTS Lite Cluster使用前必读

AI开发平台MODELARTS-不同机型的对应的软件配套版本:弹性云服务器的对应的软件配套版本

AI开发平台MODELARTS Lite Cluster使用前必读

AI开发平台MODELARTS-Lite Cluster资源配置流程:配置流程

配置流程图1 Lite Cluster资源配置流程图表1 Cluster资源配置流程配置顺序配置任务场景说明 1 配置Lite Cluster网络购买资源池后，需要弹性公网IP并进行网络配置，配置网络后可通过公网访问集群资源。 2 配置kubectl工具 kubectl是Kubernetes集群的命令行工具，配置kubectl后，您可通过kubectl命令操作Kubernetes集群。 3 配置Lite Cluster存储如果没有挂载任何外部存储，此时可用存储空间根据dockerBaseSize的配置来决定，可访问的存储空间比较小，因此建议通过挂载外部存储空间解决存储空间受限问题。容器中挂载存储有多种方式，不同的场景下推荐的存储方式不一样，您可根据业务实际情进行选择。 4 （可选）配置驱动当专属资源池中的节点含有GPU/Ascend资源时，为确保GPU/Ascend资源能够正常使用，需要配置好对应的驱动。如果在购买资源池时，没配置自定义驱动，默认驱动不满足业务要求，可通过本章节将驱动升级到指定版本。 5 （可选）配置镜像预热 Lite Cluster资源池支持镜像预热功能，镜像预热可实现将镜像提前在资源池节点上拉取好，在推理及大规模分布式训练时有效缩短镜像拉取时间。

AI开发平台MODELARTS

AI开发平台MODELARTS-Lite Cluster资源开通:Step3 在ModelArts上创建委托授权

Step3 在ModelArts上创建委托授权新建委托第一次使用ModelArts时需要创建委托授权，授权允许ModelArts代表用户去访问其他云服务。使用ModelArts Lite的资源池需要授权允许ModelArts代表用户访问云容器引擎服务CCE、裸金属服务BMS、镜像服务 IMS和密钥管理服务DEW。进入到ModelArts控制台的“全局配置”页面，单击“添加授权”，根据提示进行操作。图4 添加授权更新委托如果之前给ModelArts创过委托授权，此处可以更新授权。进入到ModelArts控制台的“专属资源池”页面，查看是否存在授权缺失的提示。如果有授权缺失，根据提示，单击“此处”更新委托。根据提示选择“追加至已有授权”，单击“确定”，系统会提示权限更新成功。

AI开发平台MODELARTS

AI开发平台MODELARTS-Lite Cluster资源开通:Step5 购买CCE集群

Step5 购买CCE集群购买Cluster资源池时，需要选择CCE集群，若您没有可用的CCE集群，可参考购买Standard/Turbo集群进行购买，集群配套版本请参考不同机型的对应的软件配套版本。创建Cluster资源池时，请确保CCE集群为“运行中”状态。当前仅支持CCE集群1.23&1.25&1.28版本。若您没有可用的CCE集群，可先创建CCE集群。CCE 1.28集群版本支持通过控制台、API方式创建，CCE 1.23和CCE 1.25版本支持通过API方式创建。不同版本的CCE集群创建方式请见Kubernetes版本策略。若您已有CCE集群，但CCE集群版本低于1.23，则可参考升级集群的流程和方法，建议将集群升级至1.28版本。

AI开发平台MODELARTS

AI开发平台MODELARTS-Lite Cluster资源开通:Step2 基础权限开通

Step2 基础权限开通基础权限开通需要登录管理员账号，为子用户账号开通使用资源池所需的基础权限。登录统一身份认证服务管理控制台。单击目录左侧“用户组”，然后在页面右上角单击“创建用户组”。填写“用户组名称”并单击“确定”。在操作列单击“用户组管理”，将需要配置权限的用户加入用户组中。单击用户组名称，进入用户组详情页。在权限管理页签下，单击“授权”。图2 “配置权限” 在搜索栏输入“ModelArts FullAccess”，并勾选“ModelArts FullAccess”。图3 ModelArts FullAccess 以相同的方式，依次添加如下权限： ModelArts FullAccess CTS Administrator CCE Administrator BMS FullAccess IMS FullAccess DEW KeypairReadOnlyAccess VPC FullAccess ECS FullAccess SFS Turbo FullAccess OBS Administrator AOM FullAccess TMS FullAccess BSS Administrator 单击“下一步”，授权范围方案选择“所有资源”。单击“确认”，完成基础权限开通。

AI开发平台MODELARTS

AI开发平台MODELARTS-Lite Cluster资源开通:集群资源开通流程

集群资源开通流程开通集群资源过程中用户侧需要完成的任务流程如下图所示。图1 用户侧任务流程表1 Cluster资源开通流程任务说明 Step1 申请开通资源规格当前部分规格为受限购买，需要提前联系客户经理申请开通资源规格，预计1~3个工作日内开通（若无客户经理可提交工单反馈）。 Step2 基础权限开通为子用户开通使用资源池所需要的权限。 Step3 在ModelArts上创建委托授权第一次使用ModelArts时需要创建委托授权，授权允许ModelArts代表用户去访问其他云服务。如果之前已经创建过委托授权，需要更新委托相应的权限。 Step4 申请扩大资源配额集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小等资源会超出华为云默认提供的资源配额，因此需要申请扩大配额。具体的配额方案请联系客户经理获取。配额需大于要开通的资源，且在购买开通前完成配额提升，否则会导致资源开通失败。 Step5 购买CCE集群购买Cluster资源池时，需要选择CCE集群，若您没有可用的CCE集群需要提前在CCE控制台购买。 Step6 购买Cluster资源在ModelArts控制台上购买Cluster资源。

AI开发平台MODELARTS

AI开发平台MODELARTS-配置Lite Cluster网络

配置Lite Cluster网络本章节介绍如何申请弹性公网IP并绑定到弹性云服务器。通过本文档，您可以实现弹性云服务器访问公网的目的。使用华为云账号登录CCE管理控制台。找到购买Cluster资源时选择的CCE集群，单击名称进入CCE集群详情页面，单击“节点管理”页签，在“节点”页签中单击需要登录的节点名称，跳转至弹性云服务器页面。图1 节点管理绑定弹性公网IP。若已有未绑定的弹性公网IP，直接选择即可。如果没有可用的弹性公网IP，需要先购买弹性公网IP，具体操作请参见申请弹性公网IP。图2 弹性公网IP 单击“购买弹性公网IP”，进入购买页。图3 绑定弹性公网IP 图4 购买弹性公网IP 图5 未绑定的弹性公网IP 完成购买后，返回弹性云服务器页面，刷新列表。图6 刷新列表选择刚才创建的弹性公网IP，单击“确定”。图7 绑定弹性公网IP 通过SSH方式远程访问集群资源包括2种方式，密码方式或密钥方式，二选一即可。通过SSH密钥方式登录云服务器，具体操作请参见SSH密钥登录方式。通过SSH密码方式登录云服务器，具体操作请参见SSH密码登录方式。父主题： Lite Cluster资源配置

AI开发平台MODELARTS

AI开发平台MODELARTS-（可选）配置镜像预热:操作步骤

操作步骤单击资源池名称，进入资源池详情。单击左侧“配置管理”。图1 配置管理在镜像预热中单击编辑图标，填写镜像预热信息。表1 镜像预热参数参数名称说明镜像来源可选择“预置”或“自定义”的镜像。预置：可选择SWR服务上自有的或他人共享的镜像。自定义：可直接填写镜像地址。添加镜像密钥若本租户不具有预热的镜像的权限（即非公开/非本租户私有/非他人共享的镜像），此时需要添加镜像密钥。在开启镜像密钥开关后，选择命名空间及对应密钥。创建密钥方法可参考创建密钥，密钥类型须为kubernetes.io/dockerconfigjson类型。若需添加多个密钥，可以单击“+”新增密钥数。添加镜像预热配置若需添加多个镜像，可单击此按键。图2 预置镜像预热图3 预置镜像选择图4 自定义镜像预热创建密钥所需的仓库地址、用户名、密码、可以参考对应租户的SWR登录指令。图5 创建密钥图6 登录指令上图中为临时登录指令，若需长期有效登录指令，可单击图中的“如何获取长期有效指令”链接获取指导。单击“确认”后，在预热信息框中可以看到已成功预热的镜像信息。图7 镜像预热成功若镜像预热失败，请检查镜像地址以及密钥是否正确。

AI开发平台MODELARTS

云服务器内容精选

AI开发平台MODELARTS

7*24

备案

专业服务

退订

建议反馈

售前咨询热线