检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
假设数据和预训练权重已经配置好,可以直接在ptuning目录下,训练入口代码main.py中添加两行代码来完成昇腾适配。请注意添加位置为导入torch之后。启动训练脚本可以观察运行效果。
engine_version String 训练作业使用的引擎版本。 train_url String 训练作业的输出文件OBS路径URL,默认为空,如“/usr/train/”。 log_url String 训练作业的日志OBS输出路径URL,默认为空。
权限问题 训练作业访问OBS时,日志提示“stat:403 reason:Forbidden” 日志提示"Permission denied" 父主题: 训练作业
查看精度结果 任务完成之后会在test-benchmark目录下生成excel表格: 精度结果 LLaMAFactory_train_accuracy_benchmark_<版本号>_<时间戳>.xlsx 样例截图: 父主题: 训练benchmark工具
查看精度结果 任务完成之后会在test-benchmark目录下生成excel表格: 精度结果 LLaMAFactory_train_accuracy_benchmark_<版本号>_<时间戳>.xlsx 样例截图: 父主题: 训练benchmark工具
训练作业失败,如何使用开发环境调试训练代码? 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。
RUN_TYPE pretrain 必填。表示训练类型,根据实际训练任务类型选择。取值说明: pretrain:表示预训练 retrain:表示断点续训 sft:表示SFT微调训练 lora:表示LoRA微调训练 MASTER_ADDR localhost 多机必填。
Other running job contain train_url: /bucket-20181114/code_hxm/ 原因分析 根据报错信息判断,在创建训练作业时,同一个“训练输出路径”在被其他作业使用。
父主题: GPU训练业务迁移至昇腾的通用指导
compute_environment: LOCAL_MACHINE debug: false distributed_type: MULTI_NPU downcast_bf16: 'no' gpu_ids: all machine_rank: 0 main_training_function
如何查看ModelArts训练作业资源占用情况? 在ModelArts管理控制台,选择“模型训练>训练作业”,进入训练作业列表页面。在训练作业列表中,单击目标作业名称,查看该作业的详情。您可以在“资源占用情况”页签查看到如下指标信息。
管理训练容器环境变量 什么是环境变量 本章节展示了训练容器环境中预置的环境变量,方便用户查看,主要包括以下类型。
查看精度结果 任务完成之后会在test-benchmark目录下生成excel表格: 精度结果 LLaMAFactory_train_accuracy_benchmark_<版本号>_<时间戳>.xlsx 样例截图: 父主题: 训练评测
复制训练作业 当对创建的训练作业不满意时,您可以单击操作列的复制,重新创建训练作业。在重创训练作业页面,会自动填入上一次训练作业设置的参数,您仅需在原来的基础上进行修改即可重新创建训练作业。
父主题: 训练管理
LoRA训练 本章节介绍SDXL&SD 1.5模型的LoRA训练过程。LoRA训练是指在已经训练好的模型基础上,使用新的数据集进行LoRA微调以优化模型性能的过程。 训练前需要修改数据集路径、模型路径。脚本里写到datasets路径即可。
cd /home/ma-user/diffusers sh diffusers_controlnet_train.sh Step3 启动sdxl训练服务 使用ma-user用户执行如下命令运行训练脚本。
sh diffusers_lora_train.sh 启动SDXL LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_sdxl_lora_train.sh 训练执行成功如下图所示。
预训练 预训练数据处理 预训练任务 断点续训练 查看日志和性能 父主题: GLM3-6B模型基于DevServer适配PyTorch NPU训练指导(6.3.904)
处理方法 当ECC错误且计数超过64时,系统会自动隔离故障节点,重启训练作业确认故障是否解决。如果未隔离的节点导致训练作业再次失败或卡死,请联系技术支持处理。 父主题: 业务代码问题