AI开发平台MODELARTS-预训练数据处理:Alpaca数据处理操作步骤

时间：2024-09-14 22:29:28

AI开发平台MODELARTS 预训练

Alpaca数据处理操作步骤

Alpaca数据处理具体操作步骤如下：

创建数据处理后的输出目录/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/。

cd /home/ma-user/ws/  #进入容器工作目录
mkdir -p processed_for_ma_input/Llama2-70B/data/pretrain

将获取到的Alpaca预训练数据集传到上一步创建的目录中。如还未下载数据集，请参考准备数据获取。

进入“/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/”目录，在代码目录中执行preprocess_data.py脚本处理数据。

此处提供一段实际的数据处理代码示例如下。

#加载ascendspeed及megatron模型，xxx-Ascend请根据实际目录替换
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
#进入到ModelLink目录下：
cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/ 
#执行以下命令： 
python ./tools/preprocess_data.py \
 --input /home/ma-user/ws/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \
 --tokenizer-name-or-path /home/ma-user/ws/tokenizers/Llama2-70B \
 --output-prefix /home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/pretrain/alpaca \
 --workers 8 \
 --log-interval 1000 \
 --tokenizer-type PretrainedFromHF