检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/cache会软连接成/home/ma-user/),导致数据占满系统目录。系统目录仅支持系统功能基本运行,无法支持大数据存储。 部分训练任务会在训练过程中生成checkpoint文件,并进行更新。如更新过程中,未删除历史的checkpoint文件,会导致/cache目录逐步被用完。
Arts服务和模型告警规则的具体方法。 只有“运行中”的在线服务,支持对接CES监控。 前提条件: 已创建ModelArts在线服务。 已在云监控服务创建ModelArts监控服务。登录“云监控服务”控制台,在“自定义监控”页面,根据界面提示创建ModelArts监控服务。 设置
service会优先读取网卡配置文件中的IP设置为主机IP, 此时无论DH Cient是否关闭,服务器都可以获取分配IP。 当服务器没有网卡配置文件时,DH Client开启,此时服务器会分配私有IP。如果关闭DH Client,则服务器无法获取私有IP。 图2 查看NetworkManager配置 图3
要或紧急告警。 可能是亚健康,建议先重启节点,若重启节点后未恢复,发起维修流程。 NT_NPU_NET NPU 链路 npu dcmi net异常。 NPU网络链接异常。 可能是亚健康,建议先重启节点,若重启节点后未恢复,发起维修流程。 NT_NPU_CARD_LOSE NPU 掉卡
VPC下创建弹性云服务器 登录弹性云服务器ECS控制台,单击右上角“购买弹性云服务器”,进入购买弹性云服务器页面,完成基本配置后单击“下一步:网络配置”,进入网络配置页面,选择1中打通的VPC,完成其他参数配置,完成高级配置并确认配置,下发购买弹性云服务器的任务。等待服务器的状态变为“
登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群Cluster”,进入“Standard资源池”页签,查看资源池列表。 在旧版资源池迁移到新版资源池的过程中,资源池状态显示为“受限”。此时,资源池无法进行扩缩容和退订。 单击某个资源池操作列右侧的“扩缩容”,进入“专属资源池
训练速度突然下降以及执行nvidia-smi卡顿如何解决? 问题现象 在高性能8卡GPU的裸金属上的训练任务突然变慢,以前1个epoch约2小时执行完成,最近1个epoch需要2天才能执行完成,并且执行“nvidia-smi”也明显变很卡顿。 原因分析 根据现象描述可能出现了nvidia-smi
VPC下创建弹性云服务器 登录弹性云服务器ECS控制台,单击右上角“购买弹性云服务器”,进入购买弹性云服务器页面,完成基本配置后单击“下一步:网络配置”,进入网络配置页面,选择1中打通的VPC,完成其他参数配置,完成高级配置并确认配置,下发购买弹性云服务器的任务。等待服务器的状态变为“
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
能是网络不通导致的。 处理步骤 进入训练作业详情页,在左侧获取SFS Turbo的名称。 图1 获取SFS Turbo的名称 登录弹性文件服务SFS控制台,在SFS Turbo列表找到训练作业挂载的SFS Turbo,单击名称进入详情页。获取VPC信息、安全组信息和endpoint信息。
在模型详情页右上角,单击“调优”、“压缩”或“部署”,可以直接使用模型进行训推。 当按钮置灰时,表示模型不支持该任务。 模型介绍 表1列举了ModelArts Studio大模型即服务平台支持的模型清单,模型详细信息请查看界面介绍。 表1 模型广场的模型系列介绍 模型系列 模型类型 应用场景
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
PROCESSING:处理中 FAILED:任务失败 COMPLETED:任务完成 step Integer 任务的步骤。枚举值如下: 1:准备存储 2:准备计算资源 3:配置网络 4:初始化实例 step_description String 任务某个步骤的描述。 表9 EndpointsRes
PROCESSING:处理中 FAILED:任务失败 COMPLETED:任务完成 step Integer 任务的步骤。枚举值如下: 1:准备存储 2:准备计算资源 3:配置网络 4:初始化实例 step_description String 任务某个步骤的描述。 表4 EndpointsRes
PROCESSING:处理中 FAILED:任务失败 COMPLETED:任务完成 step Integer 任务的步骤。枚举值如下: 1:准备存储 2:准备计算资源 3:配置网络 4:初始化实例 step_description String 任务某个步骤的描述。 表4 EndpointsRes
PROCESSING:处理中 FAILED:任务失败 COMPLETED:任务完成 step Integer 任务的步骤。枚举值如下: 1:准备存储 2:准备计算资源 3:配置网络 4:初始化实例 step_description String 任务某个步骤的描述。 表4 EndpointsRes