检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S的更多信息请参见《云硬盘用户指南》。 与云容器引擎的关系 ModelArts使用云容器引擎（Cloud Container Engine，简称CCE）部署模型为在线服务，支持服务的高并发和弹性伸缩需求。CCE的更多信息请参见《云容器引擎用户指南》。 与容器镜像服务的关系 当使用
S的更多信息请参见《云硬盘用户指南》。 与云容器引擎的关系 ModelArts使用云容器引擎（Cloud Container Engine，简称CCE）部署模型为在线服务，支持服务的高并发和弹性伸缩需求。CCE的更多信息请参见《云容器引擎用户指南》。 与容器镜像服务的关系 当使用
Cluster资源池操作请参见扩缩容Lite Cluster资源池 升级Lite Cluster资源池驱动操作请参见升级Lite Cluster资源池驱动 升级Lite Cluster资源池单个节点驱动操作请参见升级Lite Cluster资源池单个节点驱动 父主题： Lite Cluster资源管理
yaml创建pod。 kubectl apply -f config.yaml 检查pod启动情况，执行下述命令。如果显示“1/1 running”状态代表启动成功。 kubectl get pod -A 进入容器，{pod_name}替换为您的pod名字（get pod中显示的名
- role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_name] # 指定从maos-node-agent-字符串开头的POD收集指标数据
在节点池管理页面的搜索栏中，支持通过节点池名称、规格 、容器引擎空间大小、可用区等关键字搜索节点池。 设置节点池列表显示信息 在节点池管理页面中，单击右上角的设置图标，支持对节点池列表中显示的信息进行自定义。 父主题： Lite Cluster资源管理
无法正常使用NPU卡 NPU：Docker容器环境检测 NpuContainerEnvSystem 重要 Docker不可用 确认docker软件是否正常 无法使用docker软件 重要 容器插件Ascend-Docker-Runtime未安装 安装容器插件Ascend-Docker-Runtime，否则影响容器使用昇腾卡
在节点管理页面的搜索栏中，支持通过节点名称、IP地址、资源标签等关键字搜索节点。 设置节点列表显示信息 在节点页面中，单击右上角的设置图标，支持对节点列表中显示的信息进行自定义。 删除/退订/释放节点 具体操作请参见释放游离节点章节。 父主题： Lite Cluster资源管理
详情请参见升级Lite Cluster资源池单个节点驱动章节。 查找搜索节点 在节点管理页面的搜索栏中，支持通过节点名称、状态、批次、驱动版本、驱动状态、IP地址、节点池、资源标签等关键字搜索节点。 设置节点列表显示信息 在节点管理页面中，单击右上角的设置图标，支持对节点列表中显示的信息进行自定义。
设置断点续训练 什么是断点续训练 断点续训练是指因为某些原因（例如容错重启、资源抢占、作业卡死等）导致训练作业还未完成就被中断，下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。 断点续训练是通过checkpoint机制实现。 checkp
设置训练故障优雅退出 使用场景 随着模型规模和数据集的急剧增长，需要利用大规模的训练集训练大规模的神经网络。在大规模集群分布式训练时，会遇到集群中某个芯片、某台服务器故障，导致分布式训练任务失败。优雅退出是指中断的训练任务支持自动恢复，并可以在上一次训练中断的基础上继续训练，而不用从头开始。
适配断点续训，操作指导请参见设置断点续训练。 当训练过程中触发了自动重启，则系统会记录重启信息，在训练作业详情页可以查看故障恢复详情，具体请参见训练作业重调度。 开启无条件自动重启 开启无条件自动重启有2种方式：控制台设置或API接口设置。 控制台设置 在创建训练作业页面，开启“
yaml创建pod。 kubectl apply -f config.yaml 检查pod启动情况，执行下述命令。如果显示“1/1 running”状态代表启动成功。 kubectl get pod -A 进入容器，{pod_name}替换为您的pod名字（get pod中显示的名
需谨慎选择。 约束限制 Lite Cluster资源池状态处于运行中，且专属池中的节点需要含有GPU/Ascend资源。 资源池驱动升级操作 登录ModelArts管理控制台，在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”，在“弹性集群”页面，选择“Lite资源池”页签，查看资源池列表。
Ascend: 8*ascend-snt9b表示Ascend 8卡。 购买并开通资源 如果使用Cluster资源，请先阅读k8s Cluster资源购买，熟悉集群资源开通流程，再开始操作购买Cluster资源。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169
分布式训练等，可以帮助用户更好地利用多个GPU进行训练 Accelerate是一种深度学习加速框架，主要针对分布式训练场景。Accelerate的核心思想是通过模型并行和数据并行来实现分布式训练，从而提高训练速度。Accelerate提供了一系列的优化技术，如模型切分、梯度累积等
如果需要给子账号开通专属资源池的创建、更新、删除权限，此处要勾选ModelArts FullAccess，请谨慎配置。 ModelArts FullAccess 可选 ModelArts FullAccess权限和ModelArts CommonOperations权限只能二选一，不能同时选。
策略及授权项说明 如果您需要对您所拥有的ModelArts进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），如果华为云帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用ModelArts服务的其它功能。
Ascend: 8*ascend-snt9b表示Ascend 8卡。 购买并开通资源 如果使用Cluster资源，请先阅读k8s Cluster资源购买，熟悉集群资源开通流程，再开始操作购买Cluster资源。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169
NA NFS检查文件权限操作拥塞时间 ma_node_mountstats_access_backlog_wait Access is an NFS operation that checks the access permissions of a file or directory
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
