华为云用户手册

验证插件 插件安装完成后，在GPU节点及调度了GPU资源的容器中执行nvidia-smi命令，验证GPU设备及驱动的可用性。 GPU节点： # 插件版本为2.0.0以下时，执行以下命令： cd /opt/cloud/cce/nvidia/bin && ./nvidia-smi # 插件版本为2.0.0及以上时，驱动安装路径更改，需执行以下命令： cd /usr/local/nvidia/bin && ./nvidia-smi 容器： cd /usr/local/nvidia/bin && ./nvidia-smi 若能正常返回GPU信息，说明设备可用，插件安装成功。

默认安装插件 在创建专属资源池时，会按照资源池类型、作业类型，默认安装相应的插件。 表1 默认安装插件简介 插件名称 插件简介 节点故障检测(ModelArts Node Agent) Modelarts节点故障检测是一款监控集群节点异常事件的插件，以及对接第三方监控平台功能的组件。它是一个在每个节点上运行的守护程序，可从不同的守护进程中搜集节点问题。 AI套件（NVIDIA GPU） AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 创建专属资源池时，仅实例规格类型选择“GPU”时自动安装。 AI套件（Ascend NPU） AI套件（Ascend NPU）是支持容器里使用huawei NPU设备的管理插件。 创建专属资源池时，仅实例规格类型选择“Ascend”时自动安装。 Volcano调度器 Volcano 是一个基于 Kubernetes 的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而 Kubernetes 当下缺失的一系列特性。 创建专属资源池时，作业类型选择“训练作业”时自动安装。

手动安装插件 可根据业务需求，选择性安装插件用于扩展资源池功能。 表2 手动安装插件简介 插件名称 插件简介 节点本地 域名 解析加速节点本地域名解析加速（NodeLocal DNSCache） NodeLocal DNSCache是运行在集群节点上的守护程序集，通过DNS缓存代理，提高集群DNS性能。 云原生日志采集插件 Log Collect是基于开源fluent-bit和opentelemetry构建的云原生日志、k8s事件采集插件。log-agent支持基于CRD的日志采集策略，可以根据您配置的策略规则，对集群中的容器标准输出日志、容器文件日志、节点日志及k8s事件日志进行采集与转发到LTS。同时支持上报k8s事件到 AOM ，用于配置事件告警，默认上报所有异常事件和部分正常事件。

插件生命周期 表3 插件生命周期 状态 状态属性 说明 安装中 中间状态 插件正处于部署状态。 如遇到插件配置错误或资源不足所有实例均无法调度等情况，系统会在10分钟后将该插件置为“不可用”状态。 运行中 稳定状态 插件正常运行状态，所有插件实例均正常部署，插件可正常使用。 升级中 中间状态 插件正处于更新状态。 不可用 稳定状态 不可用，表示插件状态异常，插件不可使用。可单击状态查看失败原因。 删除中 中间状态 插件处于正在被删除的状态。 如果长时间处于该状态，则说明出现异常。

Step3 在TMS中根据资源类型查询ModelArts资源使用情况 登录TMS控制台，在资源标签页面根据资源类型和资源标签查询指定区域的资源任务。 区域：使用华为云的具体Region，区域概念请参见什么是区域、可用区？。 资源类型：ModelArts支持查询的资源类型如表1所示。 资源标签：不填写标签时，表示查询所有资源，无论此资源是否有配置标签。选择相应标签查询资源，用户可以通过多个标签组合查询资源使用情况。 表1 ModelArts的资源类型 资源类型 说明 ModelArts-Notebook ModelArts的开发环境Notebook对应的资源类型。 ModelArts-TrainingJob ModelArts的训练作业对应的资源类型。 ModelArts-RealtimeService ModelArts的推理在线服务对应的资源类型。 ModelArts-ResourcePool ModelArts的专属资源池对应的资源类型。 如您的组织已经设定ModelArts的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。

Step2 在ModelArts任务中添加标签 在ModelArts中创建Notebook、创建训练作业、创建推理在线服务时，对这些任务配置标签。 在ModelArts的Notebook中添加标签。 可以在创建Notebook页面添加标签，也可以在已经创建完成的Notebook详情页面的“标签”页签中添加标签。 在ModelArts的训练作业中添加标签。 可以在创建训练作业页面添加标签，也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。 在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签，也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。 可以在创建ModelArts Standard专属资源池页面添加标签，也可以在已经创建的Standard专属资源池详情页面的“标签”页签中添加标签。 图1 添加标签 用户也可以在ModelArts任务中添加标签时，创建新的标签，直接输入标签键和标签值即可。此处创建的标签仅当前的项目Project可见。不同的项目中查看不到。

创建Dashboards查看指标 打开“DashBoards”，单击“New”，选择“New Dashboards”。 在New Dashboards界面，单击“Add a new panel”。 在New dashboard /Edit Panel界面，填写如下参数。 Data source：已配置Grafana数据源； Metric：指标名称，可参考表1、表2、表3获取想要查询的指标； Labels：填写过滤该指标的标签，请参考表4。 图10 创建Dashboards查看指标

准备工作 ModelArts提供了集群视图、节点视图、用户视图、任务视图和任务详细视图这5个模板，这些模板在Grafana官方文档可以搜索下载，您导入模板配置Dashboards时，可直接使用。 表1 模板下载地址 模板名称 下载地址 集群视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-Cluster-View.json 节点视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-Node-View.json 用户视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-User-View.json 任务视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-Task-View.json 任务详细视图 https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/metrics/grafana/dashboards/ModelArts-Task-Detail-View.json

操作步骤 将本地命令复制至E CS 服务器请参考如下方法： 在ECS桌面单击“复制粘贴”，使用快捷键“Ctrl+V”将命令粘贴至窗口中并单击“发送”，将复制的命令发送至命令行窗口，如下图所示。 图3 复制粘贴按钮 图4 粘贴并发送安装命令 登录弹性云服务器。根据需要选择登录方式，具体操作请参考登录弹性云服务器 。 执行如下命令安装libfontconfig1。 sudo apt-get install -y adduser libfontconfig1 回显如下代表执行成功： 执行如下命令下载Grafana安装包。 wget https://dl.grafana.com/oss/release/grafana_9.3.6_amd64.deb --no-check-certificate 下载完成： 执行如下命令安装Grafana。 sudo dpkg -i grafana_9.3.6_amd64.deb 执行命令启动Grafana。 sudo /bin/systemctl start grafana-server 在本地PC访问Grafana配置。 确保ECS绑定了弹性公网IP，且对应配置正确（入方向放开TCP协议的3000端口，出方向全部放通）。设置如下： 单击ECS服务器名称进入详情页，单击“安全组”页签，单击“配置规则”。 单击“入方向规则”，入方向放开TCP协议的3000端口，出方向默认全部放通。 在浏览器中输入“http://{弹性公网IP}:3000”，即可进行访问。首次登录用户名和密码为admin，登录成功后请根据提示修改密码。

操作步骤 下载Grafana安装包。 进入下载链接，单击Download the installer，等待下载成功即可。 安装Grafana。 双击安装包，按照指示流程安装完成即可。 在Windows的“服务”中，找到Grafana，将其开启，如果已经开启，则直接进入4。 登录Grafana。 Grafana默认在本地的3000端口启动，打开链接http://localhost:3000，出现Grafana的登录界面。首次登录用户名和密码为admin，登录成功后请根据提示修改密码。

Label相关指标介绍 表4 Label名字栏 指标对象 Label名字 Label描述 容器级别指标 modelarts_service 容器属于哪个服务，包含notebook，train和infer。 instance_name 容器所属pod的名字。 service_id 页面展示的实例或者job id。如开发环境为：cf55829e-9bd3-48fa-8071-7ae870dae93a， 训练作业为：9f322d5a-b1d2-4370-94df-5a87de27d36e node_ip 容器所属的节点IP值。 container_id 容器ID。 cid 集群ID。 container_name 容器名称。 project_id 用户所属的账号的project id。 user_id 提交作业的用户所属的账号的user id。 npu_id 昇腾卡的ID信息，比如davinci0（即将废弃）。 device_id 昇腾系列AI处理器的Physical ID。 device_type 昇腾系列AI处理器类型。 pool_id 物理专属池对应的资源池id。 pool_name 物理专属池对应的资源池name。 logical_pool_id 逻辑子池的id。 logical_pool_name 逻辑子池的name。 gpu_uuid 容器使用的GPU的UUID。 gpu_index 容器使用的GPU的索引。 gpu_type 容器使用的GPU的型号。 account_name 训练、推理或开发环境任务创建者的账号名。 user_name 训练、推理或开发环境任务创建者的用户名。 task_creation_time 训练、推理或开发环境任务的创建时间。 task_name 训练、推理或开发环境任务的名称。 task_spec_code 训练、推理或开发环境任务的规格。 cluster_name CCE集群名称。 node级别指标 cid 该node所属CCE集群的ID。 node_ip 节点的IP。 host_name 节点的主机名。 pool_id 物理专属池对应的资源池ID。 project_id 物理专属池的用户的project id。 npu_id 昇腾卡的ID信息，比如davinci0（即将废弃）。 device_id 昇腾系列AI处理器的Physical ID。 device_type 昇腾系列AI处理器类型。 gpu_uuid 节点上GPU的UUID。 gpu_index 节点上GPU的索引。 gpu_type 节点上GPU的型号。 device_name infiniband或RoCE网络网卡的设备名称。 port IB网卡的端口号。 physical_state IB网卡每个端口的状态。 firmware_version IB网卡的固件版本。 filesystem NFS挂载的文件系统。 mount_point NFS的挂载点。 Diagnos cid GPU所在节点所属的CCE集群ID。 node_ip GPU所在节点的IP。 pool_id 物理专属池对应的资源池ID。 project_id 物理专属池的用户的project id。 gpu_uuid GPU的UUID。 gpu_index 节点上GPU的索引。 gpu_type 节点上GPU的型号。 device_name 网络设备或磁盘设备的名称。 port IB网卡的端口号。 physical_state IB网卡每个端口的状态。 firmware_version IB网卡的固件版本。

网络相关指标 表3 Diagnos（IB，仅专属池上会收集） 分类 名称 指标 指标含义 单位 取值范围 infiniband或RoCE网络 PortXmitData infiniband_port_xmit_data_total The total number of data octets, divided by 4, (counting in double words, 32 bits), transmitted on all VLs from the port. 计数值 自然数 PortRcvData infiniband_port_rcv_data_total The total number of data octets, divided by 4, (counting in double words, 32 bits), received on all VLs from the port. 计数值 自然数 SymbolErrorCounter infiniband_symbol_error_counter_total Total number of minor link errors detected on one or more physical lanes. 计数值 自然数 LinkErrorRecoveryCounter infiniband_link_error_recovery_counter_total Total number of times the Port Training state machine has successfully completed the link error recovery process. 计数值 自然数 PortRcvErrors infiniband_port_rcv_errors_total Total number of packets containing errors that were received on the port including: Local physical errors (ICRC, VCRC, LPCRC, and all physical errors that cause entry into the BAD PACKET or BAD PACKET DISCARD states of the packet receiver state machine) Malformed data packet errors (LVer, length, VL) Malformed link packet errors (operand, length, VL) Packets discarded due to buffer overrun (overflow) 计数值 自然数 LocalLinkIntegrityErrors infiniband_local_link_integrity_errors_total This counter indicates the number of retries initiated by a link transfer layer receiver. 计数值 自然数 PortRcvRemotePhysicalErrors infiniband_port_rcv_remote_physical_errors_total Total number of packets marked with the EBP delimiter received on the port. 计数值 自然数 PortRcvSwitchRelayErrors infiniband_port_rcv_switch_relay_errors_total Total number of packets received on the port that were discarded when they could not be forwarded by the switch relay for the following reasons: DLI D mapping VL mapping Looping (output port = input port) 计数值 自然数 PortXmitWait infiniband_port_transmit_wait_total The number of ticks during which the port had data to transmit but no data was sent during the entire tick (either because of insufficient credits or because of lack of arbitration). 计数值 自然数 PortXmitDiscards infiniband_port_xmit_discards_total Total number of outbound packets discarded by the port because the port is down or congested. 计数值 自然数

ModelArts Standard资源监控概述 为了满足用户对资源使用的监控诉求，ModelArts Standard提供了多种监控查看方式。 方式一：通过ModelArts Standard控制台查看 您在可通过ModelArts控制台的总览页或各模块资源监控页签查看监控指标。具体涉及以下几个方面： 通过ModelArts控制台的总览页查看，具体请参见通过ModelArts控制台查看监控指标。 Standard训练作业：用户在运行训练作业时，可以查看训练作业占用的CPU、GPU或NPU资源使用情况。具体请参见训练资源监控章节。 Standard在线服务：用户将模型部署为在线服务后，可以通过监控功能查看该推理服务的CPU、内存或GPU等资源使用统计信息和模型调用次数统计，具体参见查看推理服务详情章节。 方式二：通过AOM查看所有监控指标 ModelArts Standard上报的所有监控指标都保存在AOM中，当ModelArts控制台可以查看的指标不满足诉求时，用户可以通过AOM服务提供的指标消费和使用的能力来查看指标。设置指标阈值告警、告警上报等，都可以直接在AOM控制台操作。具体参见通过AOM控制台查看ModelArts所有监控指标。 方式三：通过Grafana查看所有监控指标 当AOM的监控模板不能满足用户诉求时，用户可以使用Grafana可视化工具来查看与分析监控指标。Grafana支持灵活而又复杂多样的监控视图和模板，为用户提供基于网页仪表面板的可视化监控效果，使用户更加直观地查看到实时资源使用情况。 将Grafana的数据源配置完成后，就可以通过Grafana查看AOM保存的所有ModelArts Standard的所有指标。具体参见使用Grafana查看AOM中的监控指标。 通过Grafana插件查看AOM中的监控指标的操作流程如下： 安装配置Grafana 安装配置Grafana有在Windows上安装配置Grafana、在Linux上安装配置Grafana和在Notebook上安装配置Grafana三种方式，请您根据实际情况选择。 配置Grafana数据源 配置仪表盘查看指标数据 父主题： ModelArts Standard资源监控

操作步骤 登录 云审计 服务管理控制台。 在管理控制台左上角单击图标，选择区域。 在左侧导航栏中，单击“事件列表”，进入“事件列表”页面。 事件列表支持通过筛选来查询对应的操作事件。当前事件列表支持四个维度的组合查询，详细信息如下： 事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。 其中筛选类型选择事件名称时，还需选择某个具体的事件名称。 选择资源ID时，还需输入某个具体的资源ID。 选择资源名称时，还需选择或手动输入某个具体的资源名称。 操作用户：在下拉框中选择某一具体的操作用户，此操作用户指用户级别，而非租户级别。 事件级别：可选项为“所有事件级别”、“normal”、“warning”、“incident”，只可选择其中一项。 时间范围：可选择查询最近七天内任意时间段的操作事件。 在需要查看的事件左侧，单击展开该事件的详细信息。 单击需要查看的事件“操作”列的“查看事件”，可以在弹窗中查看该操作事件结构的详细信息。 更多关于云审计服务事件结构的信息，请参见《云审计服务用户指南》。

资源管理支持审计的关键操作列表 表7 资源管理支持审计的关键操作列表 操作名称 资源类型 事件名称 创建资源池 PoolV2 CreatePoolV2 删除资源池 PoolV2 DeletePoolV2 更新资源池 PoolV2 UpdatePoolV2 创建网络 NetworksV1 CreateNetworksV1 删除网络 NetworksV1 DeleteNetworksV1 更新网络 NetworksV1 UpdateNetworksV1

AI Gallery支持审计的关键操作列表 表6 AI Gallery支持审计的关键操作列表 操作名称 资源类型 事件名称 发布资产 ModelArts_Market create_content 修改资产信息 ModelArts_Market modify_content 发布资产新版本 ModelArts_Market add_version 订阅资产 ModelArts_Market subscription_content 收藏资产 ModelArts_Market star_content 取消收藏资产 ModelArts_Market cancel_star_content 点赞资产 ModelArts_Market like_content 取消点赞资产 ModelArts_Market cancel_like_content 发布实践 ModelArts_Market publish_activity 报名实践 ModelArts_Market regist_activity 修改个人资料 ModelArts_Market update_user

训练作业支持审计的关键操作列表 表3 训练作业支持审计的关键操作列表 操作名称 资源类型 事件名称 创建训练作业 ModelArtsTrainJob createModelArtsTrainJob 创建训练作业版本 ModelArtsTrainJob createModelArtsTrainVersion 停止训练作业 ModelArtsTrainJob stopModelArtsTrainVersion 更新训练作业描述 ModelArtsTrainJob updateModelArtsTrainDesc 删除训练作业版本 ModelArtsTrainJob deleteModelArtsTrainVersion 删除训练作业 ModelArtsTrainJob deleteModelArtsTrainJob 创建训练作业参数 ModelArtsTrainConfig createModelArtsTrainConfig 更新训练作业参数 ModelArtsTrainConfig updateModelArtsTrainConfig 删除训练作业参数 ModelArtsTrainConfig deleteModelArtsTrainConfig 创建可视化作业 ModelArtsTensorboardJob createModelArtsTensorboardJob 删除可视化作业 ModelArtsTensorboardJob deleteModelArtsTensorboardJob 更新可视化作业描述 ModelArtsTensorboardJob updateModelArtsTensorboardDesc 停止可视化作业 ModelArtsTensorboardJob stopModelArtsTensorboardJob 重启可视化作业 ModelArtsTensorboardJob restartModelArtsgTensorboardJob

服务管理支持审计的关键操作列表 表5 服务管理支持审计的关键操作列表 操作名称 资源类型 事件名称 部署服务 service addService 删除服务 service deleteService 更新服务 service updateService 启停服务 service startOrStopService 启停边缘服务节点 service startOrStopNodesService 添加用户访问密钥 service addAkSk 删除用户访问密钥 service deleteAkSk 创建专属资源池 cluster createCluster 删除专属资源池 cluster deleteCluster 添加专属资源池节点 cluster addClusterNode 删除专属资源池节点 cluster deleteClusterNode 获取专属资源池创建结果 cluster createClusterResult

开发环境支持审计的关键操作列表 表2 开发环境支持审计的关键操作列表 操作名称 资源类型 事件名称 创建Notebook Notebook createNotebook 删除Notebook Notebook deleteNotebook 打开Notebook Notebook openNotebook 启动Notebook Notebook startNotebook 停止Notebook Notebook stopNotebook 更新Notebook Notebook updateNotebook 删除NotebookApp NotebookApp deleteNotebookApp 切换CodeLab规格 NotebookApp updateNotebookApp

数据管理支持审计的关键操作列表 表1 数据管理支持审计的关键操作列表 操作名称 资源类型 事件名称 创建数据集 dataset createDataset 删除数据集 dataset deleteDataset 更新数据集 dataset updateDataset 发布数据集版本 dataset publishDatasetVersion 删除数据集版本 dataset deleteDatasetVersion 同步数据源 dataset syncDataSource 导出数据集 dataset exportDataFromDataset 创建自动标注任务 dataset createAutoLabelingTask 创建自动分组任务 dataset createAutoGroupingTask 创建自动部署任务 dataset createAutoDeployTask 导入样本到数据集 dataset importSamplesToDataset 创建数据集标签 dataset createLabel 更新数据集标签 dataset updateLabel 删除数据集标签 dataset deleteLabel 删除数据集标签和对应的样本 dataset deleteLabelWithSamples 添加样本 dataset uploadSamples 删除样本 dataset deleteSamples 停止自动标注任务 dataset stopTask 创建团队标注任务 dataset createWorkforceTask 删除团队标注任务 dataset deleteWorkforceTask 启动团队标注验收的任务 dataset startWorkforceSamplingTask 通过/驳回/取消验收任务 dataset updateWorkforceSamplingTask 提交验收任务的样本评审意见 dataset acceptSamples 给样本添加标签 dataset updateSamples 发送邮件给团队标注任务的成员 dataset sendEmails 接口人启动团队标注任务 dataset startWorkforceTask 更新团队标注任务 dataset updateWorkforceTask 给团队标注样本添加标签 dataset updateWorkforceTaskSamples 团队标注审核 dataset reviewSamples 创建标注成员 workforce createWorker 更新标注成员 workforce updateWorker 删除标注成员 workforce deleteWorker 批量删除标注成员 workforce batchDeleteWorker 创建标注团队 workforce createWorkforce 更新标注团队 workforce updateWorkforce 删除标注团队 workforce deleteWorkforce 自动创建 IAM 委托 IAM createAgency 标注成员登录labelConsole标注平台 labelConsoleWorker workerLoginLabelConsole 标注成员登出labelConsole标注平台 labelConsoleWorker workerLogOutLabelConsole 标注成员修改labelConsole平台密码 labelConsoleWorker workerChangePassword 标注成员忘记labelConsole平台密码 labelConsoleWorker workerForgetPassword 标注成员通过url重置labelConsole标注密码 labelConsoleWorker workerResetPassword

步骤三：添加对等连接路由 在打通VPC后，专属资源池中作业访问公网地址，默认不能转发到用户VPC的SNAT，需要在ModelArts为对等连接添加默认路由。 如果在步骤一：打通VPC未开启默认路由，需要提交工单联系技术支持在专属资源池VPC的路由中添加指向对等连接的默认路由。 如果在步骤一：打通VPC开启默认路由，在打通VPC时，会给ModelArts网络0.0.0.0/0路由作为默认路由，此时无需提交工单添加默认路由即可完成网络配置。

场景介绍 当专属资源池中的节点含有GPU/Ascend资源时，用户基于自己的业务，可能会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 驱动升级有两种升级方式：安全升级、强制升级。 安全升级：不影响正在运行的业务，开始升级后会先将节点进行隔离（不能再下发新的作业），待节点上的存量作业运行完成后再进行升级，因需要等待作业完成，故升级周期可能比较长。 强制升级：忽略资源池中正在运行的作业，直接进行驱动升级，可能会导致运行中作业失败，需谨慎选择。

场景介绍 ModelArts含有许多“作业”类型（作业为统称，并非单指训练作业），其中有一部分是可以运行在Standard专属资源池上的，包括“训练”、“推理”服务及“开发环境”。 专属资源池提供了动态设置作业类型的功能，您可以在创建资源池时、创建完成后，对资源池支持的作业类型进行编辑（新增或减少）。当前支持的“作业类型”有“训练作业”、“推理服务”、“开发环境”，用户可按需自行选择。 设置某一作业类型后，即可在此专属资源池中下发此种类型的作业，没有设置的作业类型不能下发。 为了支持不同的作业类型，后台需要在专属资源池上进行不同的初始化操作，例如安装插件、设置网络环境等。其中部分操作需要占据资源池的资源，导致用户实际可用资源减少。因此建议用户按需设置，避免不必要的资源浪费。 更改已设置的作业类型可能会导致：开发环境实例被删除、正在运行的训练作业失败、正在运行的推理服务失败。

场景介绍 当专属资源池创建完成，使用一段时间后，由于用户AI开发业务的变化，对于资源池资源量的需求可能会产生变化，面对这种场景，ModelArts Standard专属资源池提供了扩缩容功能，用户可以根据自己的需求动态调整资源池规模。 使用扩容功能时，可以增加资源池已有规格的实例数量。 使用缩容功能时，可以减少资源池已有规格的实例数量。 缩容操作可能影响到正在运行的业务，建议用户在业务空窗期进行缩容，或进入资源池详情页面查看资源池节点，在指定空闲的节点上进行删除来实现缩容。

查看资源池事件 在资源池详情页，切换到“事件”页签。您可以查看资源从创建到添加节点的各个阶段的事件。产生事件的原因主要有“资源池状态变化”和“资源节点状态变化”。 在事件列表中，可单击“事件类型”列的筛选查看。 当资源池开始创建或者出现异常时，因资源池状态变化，会将此变化信息记录到事件中。 当节点的可用、异常、创建中、删除中的数量发生变化时，因资源池节点状态变化，会将此变化信息记录到事件中。 图1 查看资源池事件

创建逻辑子池 用户可以在ModelArts Standard专属资源池上拆分出逻辑子池，并设置每个子池的资源配额，包括保障配额和配额上限。拆分出逻辑子池后，训练、推理和开发环境的任务投递，需要投递在逻辑子池上，并受逻辑子池的配额约束，满足配额约束的任务才能被投递运行。 在资源池详情页，切换到“逻辑子池”页签。在逻辑子池列表中，您可以单击左上角“创建逻辑子池”创建逻辑子池，也可对已创建的逻辑子池做扩缩容、设置作业类型和删除操作。 如果需要将一个逻辑子池的资源迁移给另外一个逻辑子池子池，可以把其中一个逻辑子池子池删掉，然后对另外一个子池进行扩容操作。 创建逻辑子池 单击“创建逻辑子池”，在弹窗中填写名称、描述，选择工作空间、作业类型和实例规格，然后单击“确定”创建逻辑子池。创建逻辑子池后，如果逻辑子池需要绑定物理池节点，请提交工单申请。 图7 创建逻辑子池 扩缩容逻辑子池 针对已创建的逻辑子池，单击操作列“扩缩容”，在弹窗中重新设置实例规格管理，单击“确定”。 图8 扩缩容逻辑子池 如果是开启节点绑定的逻辑子池，扩缩容时需要确认是否进行节点排水。启用节点排水后将会对扩缩容的节点进行排水，仅本次扩缩容操作生效。可前往节点页签查看排水信息，如果排水失败，可将鼠标移至节点状态查看排水失败原因。 节点排水通常指的是释放或移除不再需要的节点资源。 排水过程中节点会被设置为不可调度，节点上的作业负载会被驱逐，可能导致作业失败。 设置作业类型 针对已创建的逻辑子池，单击操作列的“设置作业类型”，在弹窗中设置当前逻辑子池的作业类型，单击“确定”。 更改已设置的作业类型可能会导致： 开发环境实例被删除、正在运行的训练作业失败、正在运行的推理服务失败。 删除逻辑子池 针对已创建的逻辑子池，单击操作列的“删除”，在弹窗的输入框中输入DELETE，单击“确定”。 图9 删除逻辑子池 删除资源池，会同步删除资源池中的磁盘，磁盘上的数据会被清除，不可恢复，请谨慎操作。

查看资源池插件 ModelArts提供多种类型的插件，通过添加插件选择性扩展资源池功能，以满足业务需求。 在资源池详情页，切换到“插件”页签。可以查看资源池已安装和未安装的插件信息。 安装插件：在未安装插件列表中，选择待安装的插件，单击“安装”，配置相关信息，单击“确定”。具体配置信息请见管理Standard专属资源池插件。 图12 安装插件 查看插件详情：单击插件名称，可查看插件详情，包括插件简介、组件列表等信息。 图13 插件详情

常见问题 创建专属资源池时，能选到规格但最终创建时发生报错，提示无可用资源？ 由于专属资源的可选规格是动态监测的，因此在极少数情况下会出现，规格在购买界面可以被选择，但由于没有及时支付和创建资源池，导致该规格售罄创建失败。 建议您在创建界面更换规格重新创建资源池。 为什么无法使用资源池节点上的全部CPU资源？ 由于资源池节点上会安装系统、插件等内容，因此不能完全使用所有资源。例如：资源池节点是8U，节点分配给系统组件部分CPU，可用的资源会小于8U。 建议您在启动任务前，在该资源池的详情页中，单击“节点”页签，查看实际可用的CPU资源。

专属资源池使用说明 如果您是初次使用专属资源池，建议您可从本章节开始，了解ModelArts提供的资源池详细说明。 在对专属资源池有一定了解后，如果您需要创建一个自己的专属资源池，您可参考创建Standard专属资源池来进行创建。 专属资源池创建成功后，可在查看Standard专属资源池详情中查看专属资源池的详细信息。 如果专属资源池的规格与您的业务不符，可通过扩缩容Standard专属资源池来调整专属资源池的规格。 每个用户对集群的驱动要求不同，在专属资源池列表页中，可自行选择加速卡驱动，并根据业务需要进行立即变更或平滑升级。ModelArts提供了自助升级专属资源池GPU/Ascend驱动的能力，可参考升级Standard专属资源池驱动进行升级。 专属资源池提供了故障节点修复的功能，可参考修复Standard专属资源池故障节点修复故障节点。 专属资源池提供了动态设置作业类型的功能，可参考修改Standard专属资源池支持的作业类型更新作业类型。 专属资源池提供了工作空间功能，管理员可以根据工作空间，隔离不同子用户操作工作空间内资源的权限，您可通过迁移Standard专属资源池和网络至其他工作空间将资源池移动到对应的工作空间下。 专属资源池可通过标签来进行管理，具体可参见使用TMS标签实现资源分组管理管理专属资源池标签。 当不再需要使用专属资源池时，您可参考释放Standard专属资源池和删除网络删除专属资源池。

ModelArts Standard资源池说明 在使用ModelArts进行AI开发时，您可以选择使用如下两种资源池： 专属资源池：专属资源池不与其他用户共享，资源更可控。在使用专属资源池之前，您需要先创建一个专属资源池，然后在AI开发过程中选择此专属资源池。 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。 用户下发训练作业、部署模型、使用开发环境实例等，均可以使用ModelArts提供的公共资源池完成，按照使用量计费，方便快捷。 专属资源池和公共资源池的能力主要差异如下： 专属资源池为用户提供独立的计算集群、网络，不同用户间的专属资源池物理隔离，公共资源池仅提供逻辑隔离，专属资源池的隔离性、安全性要高于公共资源池。 专属资源池用户资源独享，在资源充足的情况下，作业是不会排队的；而公共资源池使用共享资源，在任何时候都有可能排队。 专属资源池支持打通用户的网络，在该专属资源池中运行的作业可以访问打通网络中的存储和资源。例如，在创建训练作业时选择打通了网络的专属资源池，训练作业创建成功后，支持在训练时访问SFS中的数据。 专属资源池支持自定义物理节点运行环境相关的能力，例如GPU/Ascend驱动的自助升级，而公共资源池暂不支持。