检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
词表切分 在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量。
附录：训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
附录：训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
报错提示RuntimeError: Default process group has not been initialized, please make sure to call init_process_group 问题现象 报错提示RuntimeError: Default
推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu
Finetune训练 本章节介绍SDXL&SD 1.5模型的Finetune训练过程。Finetune是指在已经训练好的模型基础上，使用新的数据集进行微调（fine-tuning）以优化模型性能。 训练前需要修改数据集路径、模型路径。数据集路径格式为/datasets/pokemon-dataset
（工作区内存使用量=活跃的匿名与和缓存，以及file-baked页<=container_memory_usage_bytes）) 兆字节（Megabytes） ≥0 NA NA NA 存储 磁盘读取速率 ma_container_disk_read_kilobytes 该指标用于统计每秒从磁盘读出的数据量
GPU服务器上配置Lite Server资源软件环境 场景描述 本文旨在指导如何在GPU裸金属服务器上，安装NVIDIA、CUDA驱动等环境配置。由于不同GPU预置镜像中预安装的软件不同，您通过Lite Server算力资源和镜像版本配套关系章节查看已安装的软件。下面为常见的软件安装步骤
服务部署、启动、升级和修改时，资源不足如何处理？ 问题现象 启动服务失败，报错：资源不足，服务调度失败。（Schedule failed due to insufficient resources. Retry later.或ModelArts.3976：No resources
用户使用torch报错Unexpected error from cudaGetDeviceCount 问题现象 在Notebook执行兼容gpu的脚本时报错不兼容，但是通过nvcc --version排查显示是兼容。 import torch import sys print('
使用DCGM监控Lite Server资源 场景描述 本文主要介绍如何在Lite Server上配置DCGM监控，用于监控Lite Server上的GPU资源。 DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具，提供多种能力，包括主动健康监控、
查看Notebook实例事件 在Notebook的整个生命周期，包括实例的创建、启动、停止、规格变更等关键操作以及实例的运行状态等在后台都有记录，用户可以在Notebook实例详情页中查看具体的事件，通过实例的事件，从而看到实例的运行或者异常等状态详情。在右侧可以手动刷新事件，也可以设置间隔
推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu
使用SDK调测单机训练作业 代码中涉及到的OBS路径，请用户替换为自己的实际OBS路径。 代码是以PyTorch为例编写的，不同的AI框架之间，整体流程是完全相同的，仅需修改6和10中的framework_type参数值即可，例如：MindSpore框架，此处framework_type
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest
创建Notebook并执行性能诊断任务 本文介绍如何创建Notebook并执行性能诊断任务。 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例，选择要使用的AI框架，创建Notebook时可以选择任意镜像。具体参见创建Notebook实例
问题现象2 分布式训练的日志中，发现有的节点含有GDR信息，而有的节点无GDR信息，导致卡死的原因可能为GDR。
Msprobe梯度监控 梯度监控工具提供了将模型梯度数据导出的能力。使用梯度监控工具，可以实现对训练过程模型每一层梯度信息进行监控，目前支持两种能力： 将模型权重的梯度数据导出。这种功能可以将模型权重的梯度值以统计量的形式采集出来，用以分析问题，例如检测确定性问题，使用训练状态监控工具监控
Ascend-Docker-Runtime，否则影响容器使用昇腾卡 docker容器无法挂载NPU卡 重要 操作系统没有开启IP转发功能 请检查/etc/sysctl.conf文件中net.ipv4.ip_forward配置 docker容器无法正常网络通信 重要 容器共享内存过小 共享内存默认为64M，可按需修改 分布式训练时共享内存不足导致训练失败
VS Code连接开发环境失败常见问题 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开，未弹出VS Code窗口 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开，VS Code打开后未进行远程连接 VS Code连接开发环境失败时的排查方法
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
