AI开发平台MODELARTS-训练的权重转换说明:用户自定义执行权重转换参数修改说明
用户自定义执行权重转换参数修改说明
如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging Face 转 Megatron格式,以及Megatron 转 Hugging Face格式,而脚本使用hf2hg、mg2hf参数传递来区分。
- 方法一:用户可打开scripts/llama2/2_convert_mg_hf.sh脚本,将执行的python命令复制下来,修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中,再执行python命令。
- 方法二:用户在Notebook直接编辑scripts/llama2/2_convert_mg_hf.sh脚本,自定义环境变量的值,并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令,随后在Notebook中运行该脚本。
其中环境变量详细介绍如下:
参数 |
示例 |
参数说明 |
---|---|---|
$1 |
hf2hg、mg2hf |
运行 2_convert_mg_hf.sh 时,需要附加的参数值。如下: hf2hg:用于Hugging Face 转 Megatron mg2hf:用于Megatron 转 Hugging Face |
TP |
8 |
张量并行数,一般等于单机卡数 |
PP |
1 |
流水线并行数,一般等于节点数量 |
ORIGINAL_HF_WEIGHT |
/home/ma-user/work/model/Llama2-13B |
原始Hugging Face模型路径 |
CONVERT_MODEL_PATH |
/home/ma-user/work/llm_train/processed_for_ma_input/llama2-13b/converted_weights_TP8PP1 |
权重转换完成之后保存路径 |
TOKENIZER_PATH |
/home/ma-user/work/model/llama-2-13b-chat-hf |
tokenizer路径,即:原始Hugging Face模型路径 |
MODEL_SAVE_PATH |
/home/ma-user/work/llm_train/saved_dir_for_output/llama2-13b |
训练完成后保存的权重路径。 |
- GaussDB(for MySQL)读写分离_数据库代理_Proxy事务拆分
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- ModelArts推理部署_OBS导入_模型包规范-华为云
- ModelArts模型训练_超参搜索简介_超参搜索算法
- 分布式云原生域名访问_华为云分布式云原生_华为云UCS域名访问
- 弹性负载均衡ELB入门_弹性负载均衡作用_弹性负载均衡如何工作
- ModelArts自定义镜像_自定义镜像简介_如何使用自定义镜像
- ModelArts模型训练_创建训练作业_如何创建训练作业
- AI训练加速存储_高性能数据存储_AI数据存储内存不足怎么办
- GaussDB了解_GaussDB入门_高斯数据库了解_华为云