检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据集监控数据 功能介绍 查询数据集在指定时间范围内的监控数据。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/dat
在Linux上安装配置Grafana 适用场景 本章节适用于在Linux操作系统的PC中安装配置Grafana。 前提条件 一台可访问外网的Ubuntu服务器。如果没有请具备以下条件： 准备一台ECS服务器（建议规格选8U或者以上，镜像选择Ubuntu，建议选择22.04版本，本
在Notebook上安装配置Grafana 适用场景 本章节适用于在ModelArts Standard的Notebook中安装配置Grafana。 前提条件 已创建CPU或GPU类型的Notebook实例，并处于运行中。 打开Terminal。 操作步骤 在Terminal中依
监控Lite Server资源 使用CES监控Lite Server资源 使用DCGM监控Lite Server资源 父主题： Lite Server资源管理
训练作业的监控内存指标持续升高直至作业失败 问题现象 训练作业的“状态”为“运行失败”。 原因分析 训练作业的监控内存指标持续升高，导致最后训练作业失败。 处理步骤 查询训练作业的日志和监控信息，是否存在明确的OOM报错信息。 是，训练作业的日志里存在OOM报错，执行2。 否，训
在左侧导航栏，选择“云服务监控 > ModelArts”。 查看监控图表。 查看在线服务监控图表：单击目标在线服务“操作”列的“查看监控指标”。 查看模型负载监控图标：单击目标在线服务左侧的，在下拉列表中选择模型负载“操作”列的“查看监控指标”。 在监控区域，您可以通过选择时长，查看对应时间的监控数据。
训练作业进程异常退出 问题现象 训练作业运行失败，日志中出现如下类似报错： [Modelarts Service Log]Training end with return code: 137 原因分析 日志显示训练进程的退出码为137。训练进程表示用户的代码启动后的进程，所以这里
训练作业进程被kill 问题现象 用户进程被Kill表示用户进程因外部因素被Kill或者中断，表现为日志中断。 原因分析 CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况
卡死检测主要是通过监控作业进程的状态和资源利用率来判定作业是否卡死。会启动一个进程来周期性地监控上述两个指标的变化情况。 进程状态：只要训练作业中存在进程IO有变化，进入下一个检测周期。如果在多个检测周期内，作业所有进程IO都没有变化，则进入资源利用率检测阶段。 资源利用率：在作业进程IO没
用户结束kernelgateway进程后报错Server Connection Error，如何恢复？ 问题现象 当kernelgateway进程被结束后，出现如下报错，以及选不到Kernel。 图1 报错Server Connection Error截图 图2 选不到Kernel
INFO:root:Using OBS-Python-SDK-3.1.2 原因分析 Pytorch通过spawn模式创建了多个进程，每个进程会调用多进程方式使用Mox下载数据。此时子进程会不断销毁重建，Mox也就会不断的被导入，导致打印很多Mox的版本信息。 处理方法 为避免训练作业Pytorch
max_split_size_mb to avoid fragmentation. 解决方法： 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 父主题： 常见错误原因和解决方法
max_split_size_mb to avoid fragmentation. 解决方法： 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 父主题： 常见错误原因和解决方法
根据现象描述可能出现了nvidia-smi D+进程。 "D+"表示进程状态为"Uninterruptible Sleep (usually IO)"，即进程正在等待I/O操作完成，此时无法被中断。 在正常情况下，nvidia-smi进程通常只会短暂地出现D+状态，因为它们是由内核控制的，该进程处于等待I/O操
在ModelArts的Notebook中，如何使用昇腾多卡进行调试？ 昇腾多卡训练任务是多进程多卡模式，跑几卡需要起几个python进程。昇腾底层会读取环境变量：RANK_TABLE_FILE，开发环境已经设置，用户无需关注。比如跑八卡，可以如下片段代码： export RANK_SIZE=8
7-4dae-b262-642d0d80519e", "execution_id" : "2aa33bf2-7ddb-4401-adb9-627952a282e9", "step_name" : "labeling", "step_title" : "data
max_split_size_mb to avoid fragmentation. 解决方法 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size） 和PP
max_split_size_mb to avoid fragmentation. 解决方法 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size） 和PP
max_split_size_mb to avoid fragmentation. 解决方法 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size） 和PP
max_split_size_mb to avoid fragmentation. 解决方法： 通过npu-smi info查看是否有进程资源占用NPU，导致训练时显存不足。解决可通过kill掉残留的进程或等待资源释放。 可调整参数：TP张量并行（tensor-model-parallel-size） 和PP
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
