AI开发平台MODELARTS-预训练数据处理:Alpaca数据处理说明

时间：2024-11-05 09:54:19

AI开发平台MODELARTS

Alpaca数据处理说明

数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中，脚本具体内容如下。

#数据预处理
python ./tools/preprocess_data.py \
 --input {work_dir}/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \
 --tokenizer-name-or-path {work_dir}/tokenizers/BaiChuan2-13B \
 --output-prefix {work_dir}/processed_for_ma_input/BaiChuan2-13B/data/pretrain/alpaca \
 --workers 8 \
 --log-interval 1000 \
 --seq-length 4096 \
 --tokenizer-type PretrainedFromHF

参数说明：

${work_dir}的路径指容器工作路径：如/home/ma-user/ws/ 。
- input：原始数据集的存放路径
- output-prefix：处理后的数据集保存路径+数据集名称前缀（例如: alpaca）
- tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
- tokenizer-name-or-path：tokenizer的存放路径
-workers：设置数据处理使用执行卡数量
-log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出
seq-length：是一个用于计算序列长度的函数。它接收一个序列作为输入，并返回序列的长度，需和训练时参数保持一致。

数据预处理后输出的训练数据如下：