AI开发平台MODELARTS-预训练数据处理:Alpaca数据处理

时间：2024-04-30 18:09:32

AI开发平台MODELARTS

Alpaca数据处理

数据预处理脚本preprocess_data.py存放在代码包的“llm_train\AscendSpeed\ModelLink\”目录中，脚本具体内容如下。

cd /home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/ModelLink
python tools/preprocess_data.py \
    --input ${path}/train-00000-of-00001-a09b74b3ef9c3b56.parquet \
    --output-prefix ${path}/alpaca/llama2-13B/alpaca \
    --tokenizer-type PretrainedFromHF \
    --tokenizer-name-or-path ${path}/tokenizers/llama2-13b-hf \
    --tokenizer-not-use-fast \
    --json-keys text

参数说明：

- input：数据集的存放路径，本案例中${path}的路径为/home/ma-user/ws/datasets 。
- output-prefix：处理后的数据集保存路径+数据集名称前缀（例如: alpaca）
- tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
- tokenizer-name-or-path：tokenizer的存放路径
- json-keys: space separate listed of keys to extract from json，默认使用text，不需要修改。

数据预处理后输出的训练数据如下：