AI开发平台MODELARTS-预训练数据处理:自定义数据

时间：2024-11-05 09:54:16

AI开发平台MODELARTS

自定义数据

如果是用户自己准备的数据集，可以使用Ascendspeed代码仓中的转换工具将json格式数据集转换为训练中使用的.idx + .bin格式。

#示例
#1.将准备好的json格式数据集存放于/home/ma-user/ws/training_data/pretrain目录下: 如data.json
#2.运行转换脚本
cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/  
加载ascendspeed及megatron模型
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
#运行以下命令
python ./tools/preprocess_data.py \
 --input {work_dir}/training_data/pretrain/data.json \
 --tokenizer-name-or-path {work_dir}/tokenizers/Qwen-14B \
 --output-prefix {work_dir}/processed_for_ma_input/Qwen-14B/data/pretrain/alpaca \
 --workers 8 \
 --log-interval 1000 \
 --tokenizer-type PretrainedFromHF \
 --seq-length 4096
#3.执行完成后在 datasets文件夹中可以得到 data_text_document.idx 与data_text_document.bin 两个文件

上一篇：AI开发平台MODELARTS-预训练数据处理:Alpaca数据处理操作步骤

下一篇：AI开发平台MODELARTS-预训练数据处理:Alpaca数据处理操作步骤