AI开发平台MODELARTS-Eagle投机小模型训练:步骤二：非sharegpt格式数据集转换（可选）

时间：2025-01-24 14:45:17

AI开发平台MODELARTS

步骤二：非sharegpt格式数据集转换（可选）

如果数据集json文件不是sharegpt格式，而是常见的如下格式，则需要执行convert_to_sharegpt.py 文件将数据集转换为share gpt格式。

{
"prefix":  "AAA"
"input": "BBB",
"output": "CCC"
}

执行convert_to_sharegpt.py 文件。

python convert_to_sharegpt.py \
 --input_file_path data_test.json  \
 --out_file_name ./data_for_sharegpt.json \
 --prefix_name instruction \
 --input_name input  \
 --output_name output \
 --code_type  utf-8

其中：

input_file_path：预训练json文件地址。
out_file_name：输出的sharegpt格式文件地址。
prefix_name：预训练json文件的前缀字段名称，例如：您是一个xxx专家，您需要回答下面问题。prefix_name可设置为None，此时预训练数据集只有input和output两段输入。
input_name：预训练json文件的指令输入字段名称，例如：请问苹果是什么颜色。
output_name output：预训练json文件的output字段名称，例如：苹果是红色的。
code_type：预训练json文件编码，默认utf-8。

当转换为sharegpt格式时，prefix和input会拼接成一段文字，作为human字段，提出问题，而output字段会作为gpt字段，做出回答。

上一篇：AI开发平台MODELARTS-Eagle投机小模型训练:步骤五：训练生成权重转换成可以支持vLLM推理的格式

下一篇：AI开发平台MODELARTS-使用kv-cache-int8量化:per-tensor静态量化场景