AI开发平台MODELARTS-预训练数据处理:Alpaca数据处理说明

时间：2024-11-05 09:54:16

AI开发平台MODELARTS 预训练

Alpaca数据处理说明

数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中，以Llama2-70B为例，脚本具体内容如下。

#进入到ModelLink目录下，xxx-Ascend请根据实际目录替换
cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
#加载ascendspeed及megatron模型
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
#数据预处理
python ./tools/preprocess_data.py \
 --input {work_dir}/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \
 --tokenizer-name-or-path {work_dir}/tokenizers/Llama2-70B \
 --output-prefix {work_dir}/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca \
 --workers 8 \
 --log-interval 1000 \
 --tokenizer-type PretrainedFromHF

参数说明：

${work_dir}的路径指容器工作路径：如/home/ma-user/ws/ 。
- input：原始数据集的存放路径
- output-prefix：处理后的数据集保存路径+数据集名称前缀（例如: alpaca）
- tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
- tokenizer-name-or-path：tokenizer的存放路径
-workers：设置数据处理使用执行卡数量
-log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出

数据预处理后输出的训练数据如下：