检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 Git下载代码时报错 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.911）
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 mc2融合算子报错 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.912）
py脚本进行权重转换生成量化系数，详细参数解释请参见https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/llama#int8-kv-cache。 python convert_checkpoint.py \ --model_dir
print(x) available_dev = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu") y = torch.randn(5, 3).to(available_dev) print(y)
预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/${用户自定义的数据集路径和名称} 原始数据集的存放路径。 TOKENIZER_PATH
预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/${用户自定义的数据集路径和名称} 原始数据集的存放路径。 TOKENIZER_PATH
common_utils.py #获取训练日志工具 ├── performance.py #性能测试脚本 ├── trainer.py #训练启动脚本 ├── data.tgz # 样例数据 ├── setup.py
--model=facebook/opt-125m \ --enable-prefix-caching online openai python -m vllm.entrypoints.openai.api_server \ --model=facebook/opt-125m \ --enable-prefix-caching
ple.huawei.com Port 31215 User ma-user IdentityFile c:\Users\xxx\KeyPair-xxx.pem StrictHostKeyChecking no UserKnownHostsFile /dev/null ForwardAgent
号进行排序，端口之间用`,`分隔开作为该环境变量的输入。 USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP
可调整参数：SEQ_LEN要处理的最大的序列长度（seq-length），参数值过大很容易发生显存溢出的错误。 可添加参数：在3_training.sh文件中添加开启重计算的参数。其中recompute-num-layers的值为模型网络中num-layers的参数值。 --
练为例： 表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/pretrain/train-00000-of-00001-a09b74b3ef9c3b56.parquet
overwrite_output_dir: true ### train per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 2.0e-5 num_train_epochs: 10.0 lr_scheduler_type:
py会在cache中读取SimSun.ttf 文件，如果没有，就会联网下载，可能会遇到： SSL:CERTIFICATE_VERIFY_FAILED ssl.1129错误 407 Proxy Authentication Required 解决方案： 1. 直接手动下载 SimSun
py会在cache中读取SimSun.ttf 文件，如果没有，就会联网下载，可能会遇到： SSL:CERTIFICATE_VERIFY_FAILED ssl.1129错误 407 Proxy Authentication Required 解决方案： 1. 直接手动下载 SimSun
ascendfactory-cli train <cfgs_yaml_file> <model_name> <exp_name> # 指定设备卡数，如2卡 ASCEND_RT_VISIBLE_DEVICES=0,1 ascendfactory-cli train <cfgs_yaml_file>
--no-cache-dir numpy 构建新镜像。在Dockerfile文件所在的目录执行如下命令构建容器镜像training:v1。 docker build . -t training:v1 将构建好的新镜像上传至SWR。 登录容器镜像服务控制台，选择区域。 单击右上角“创建组织”，
用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时，生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_ITERS//SAVE_INTERVAL+1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
