AI开发平台MODELARTS-Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906):Step4 准备训练环境

时间：2024-12-09 20:36:09

AI开发平台MODELARTS

Step4 准备训练环境

下载权重。从HuggingFace下载Qwen-VL-Chat，或将您已下载的权重文件上传到容器工作目录${container_work_dir}中。

# 模型结构如下：
Qwen-VL-Chat/
├── config.json
├── configuration_qwen.py
├── generation_config.jsons
├── modeling_qwen.py
├── pytorch_model-00001-of-00010.bin
├── pytorch_model-00002-of-00010.bin
├── pytorch_model-00003-of-00010.bin
├── pytorch_model-00004-of-00010.bin
├── pytorch_model-00005-of-00010.bin
├── pytorch_model-00006-of-00010.bin
├── pytorch_model-00007-of-00010.bin
├── pytorch_model-00008-of-00010.bin
├── pytorch_model-00009-of-00010.bin
├── pytorch_model-00010-of-00010.bin
├── pytorch_model.bin.index.json
├── qwen_generation_utils.py
├── qwen.tiktoken
├── README.md
├── SimSun.ttf
├── tokenization_qwen.py
├── tokenizer_config.json
└── visual.py

赋予容器访问权重文件的权限。上传文件到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。

#统一文件属主为ma-user用户
sudo chown -R ma-user:ma-group  ${container_work_dir}
# ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
#例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

在容器中解压代码包并执行Qwen-VL安装脚本。

# 解压代码包
unzip AscendCloud-AIGC-6.3.906-*.zip
rm -rf AscendCloud-AIGC-6.3.906-*
# 执行安装脚本
# model_path 配置为Qwen-VL的权重路径，例：/home/ma-user/Qwen-VL-Chat
git config --global http.sslVerify false
bash multimodal_algorithm/QwenVL/6d0ab0efd0a/qwen_vl_install.sh {model_path}
# 执行完成后，代码路径为ModelZoo-PyTorch/PyTorch/built-in/mlm/Qwen-VL
# 安装bc命令
sudo yum install -y bc

上一篇：AI开发平台MODELARTS-Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906):Step2 启动镜像

下一篇：AI开发平台MODELARTS-Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906):Step2 启动镜像