AI开发平台MODELARTS-MiniCPM-V2.6基于DevServer适配PyTorch NPU训练指导（6.3.909）:Step5 MiniCPM-V2.6微调前修改脚本

时间：2024-11-15 09:44:20

AI开发平台MODELARTS

Step5 MiniCPM-V2.6微调前修改脚本

使用/home/ma-user/MiniCPM-V/finetune/finetune_lora.sh官方脚本对MiniCPM-V 2.6进行lora微调。使用/home/ma-user/MiniCPM-V/finetune/finetune_ds.sh官方脚本对MiniCPM-V 2.6进行sft微调。微调脚本默认使用 transformers Trainer 和 DeepSpeed。

在 ds_config_zero2.json 修改overlap_comm为false。

loss固定

pip install mindstudio-probe

在finetune.py脚本前添加

from msprobe.pytorch import seed_all 
seed_all(1234)

npu

在finetune.py脚本前添加

import torch_npu
from torch_npu.contrib import transfer_to_npu

下载插件包AscendCloud-AIGC-6.3.909-xxx.zip到${container_work_dir}并解压后得到multimodal_algorithm。

sudo chown -R ma-user:ma-group ${container_work_dir}
unzip AscendCloud-AIGC-6.3.909-xxx.zip
cd ${container_work_dir}/multimodal_algorithm/ascendcloud_multimodal_plugin
pip install -e .

# 在MiniCPM-V/finetune/finetune.py引入优化代码包
from ascendcloud_multimodal.train.models.minicpmv.minicpmv2_6 import ascend_modeling_minicpmv2_6

上一篇：AI开发平台MODELARTS-MiniCPM-V2.6基于DevServer适配PyTorch NPU训练指导（6.3.909）:获取软件和镜像

下一篇：AI开发平台MODELARTS-MiniCPM-V2.6基于DevServer适配PyTorch NPU训练指导（6.3.909）:获取软件和镜像