AI开发平台MODELARTS-SFT全参微调数据处理:数据处理具体操作

时间：2024-09-14 22:29:28

AI开发平台MODELARTS SFT全参微调训练

数据处理具体操作

SFT全参微调数据处理具体操作步骤如下。

创建处理后的数据存放目录/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/

cd /home/ma-user/ws/  #进入容器工作目录
mkdir -p processed_for_ma_input/Llama2-70B/data/finetune

进入代码目录“/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/”，在代码目录中执行preprocess_data.py脚本处理数据。

此处提供一段实际的数据处理代码示例如下。

#进入到ModelLink目录下，xxx-Ascend请根据实际目录替换。
cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/
#加载ascendspeed及megatron模型
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
#执行以下命令
python ./tools/preprocess_data.py \
  --input /home/ma-user/ws/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \
  --tokenizer-name-or-path /home/ma-user/ws/tokenizers/Llama2-70B \
  --output-prefix /home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/alpaca_ft \
  --workers 8 \
  --log-interval 1000 \
  --tokenizer-type PretrainedFromHF \
  --handler-name GeneralInstructionHandler \
  --append-eod

数据处理完后，在/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/目录下生成转换后的数据文件。

上一篇：AI开发平台MODELARTS-SFT全参微调数据处理:下载数据

下一篇：AI开发平台MODELARTS-SFT全参微调数据处理:数据预处理说明