AI开发平台MODELARTS-SFT全参微调数据处理:数据预处理说明
数据预处理说明
使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data.py存放在xxx-Ascend/llm_train/AscendSpeed/ModelLink/tools目录中,脚本具体内容如下。xxx-Ascend请根据实际目录替换。
#加载ascendspeed及megatron模型 export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink #进入ModelLink目录 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink python ./tools/preprocess_data.py \ --input /home/ma-user/ws/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \ --tokenizer-name-or-path $TOKENIZER_PATH \ --output-prefix $DATASET_PATH\ --tokenizer-type PretrainedFromHF \ --workers 8 \ --handler-name GeneralInstructionHandler \ --log-interval 1000 \ --append-eod
参数说明:
- input:SFT全参微调数据的存放路径。
- output-prefix:处理后的数据集保存路径+数据集名称前缀(例如:alpaca_ft)。
- tokenizer-type:tokenizer的类型,可选项有['BertWordPieceLowerCase', 'BertWordPieceCase','GPT2BPETokenizer', 'PretrainedFromHF'],设置为PretrainedFromHF。
- tokenizer-name-or-path:tokenizer的存放路径。
- handler-name:生成数据集的用途,这里是生成的指令数据集,用于微调。
- workers:数据处理线程数。
-append-eod:用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列结束,可以帮助模型更好地理解和处理长序列。
- log-interval:输出处理日志刷新间隔。
输出结果
alpaca_ft_packed_attention_mask_document.bin
alpaca_ft_packed_attention_mask_document.idx
alpaca_ft_packed_input_ids_document.bin
alpaca_ft_packed_input_ids_document.idx
alpaca_ft_packed_labels_document.bin
alpaca_ft_packed_labels_document.idx
- TMS开发_金蝶TMS系统_TMS技术系统_信息化管理_视频
- ModelArts是什么_AI开发平台_ModelArts功能
- 华为云数据处理技术_数据管理平台数据工坊_什么是数据处理
- 数据转发至函数工作流_数据处理_FunctionGraph处理流数据
- ModelArts模型训练_超参搜索简介_超参搜索算法
- 华为云ModelArts_ModelArts开发_AI全流程开发
- 数据仓库的特点_华为云数据工坊处理数据好用吗_好用的数据处理方案
- 媒体处理功能_音视频转码_多媒体数据处理服务
- GaussDB数据库授权_GaussDB授权说明_高斯数据库授权-华为云
- ModelArts计费说明_计费简介_ModelArts怎么计费