检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"input": "输入（选填）", "output": "模型回答（必填）", } ] MOSS 指令微调数据：本案例中还支持MOSS格式数据，标准的.json格式的数据，内容包括可以多轮对话、指令问答。例如以下样例： { "conversation_id":
"input": "输入（选填）", "output": "模型回答（必填）", } ] MOSS 指令微调数据：本案例中还支持 MOSS 格式数据，标准的.json格式的数据，内容包括可以多轮对话、指令问答。例如以下样例： { "conversation_id":
"input": "输入（选填）", "output": "模型回答（必填）", } ] MOSS 指令微调数据：本案例中还支持 MOSS 格式数据，标准的.json格式的数据，内容包括可以多轮对话、指令问答。例如以下样例： { "conversation_id":
rain/ 微调数据集预处理参数说明 微调包含SFT和LoRA微调。数据集预处理脚本参数说明如下： --input：原始数据集的存放路径。支持 .parquet \ .csv \ .json \ .jsonl \ .txt \ .arrow 格式。 --output-prefix
不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN） 并行参数设置 micro batch size (MBS) 规格与节点数 1
rain/ 微调数据集预处理参数说明 微调包含SFT和LoRA微调。数据集预处理脚本参数说明如下： --input：原始数据集的存放路径。支持 .parquet \ .csv \ .json \ .jsonl \ .txt \ .arrow 格式。 --output-prefix
rain/ 微调数据集预处理参数说明 微调包含SFT和LoRA微调。数据集预处理脚本参数说明如下： --input：原始数据集的存放路径。支持 .parquet \ .csv \ .json \ .jsonl \ .txt \ .arrow 格式。 --output-prefix
不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN） 并行参数设置 micro batch size (MBS) 规格与节点数 1
不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN） 并行参数设置 micro batch size (MBS) 规格与节点数 1
时，没配置自定义驱动，默认驱动不满足业务要求，可通过本章节将驱动升级到指定版本。 5 （可选）配置镜像预热 Lite Cluster资源池支持镜像预热功能，镜像预热可实现将镜像提前在资源池节点上拉取好，在推理及大规模分布式训练时有效缩短镜像拉取时间。 快速配置Lite Cluster资源案例
shot数 llama3_8b 3200 8 采用默认值 llama3_70b 3200 4 [0, 1, 2] (可选) opencompass也支持通过本地权重来进行ppl精度测试。本质上使用transformers进行推理，因为没有框架的优化，执行时间最长。另一方面，由于是使用tra
手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel
手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel
shot数 llama3_8b 3200 8 采用默认值 llama3_70b 3200 4 [0, 1, 2] (可选) opencompass也支持通过本地权重来进行ppl精度测试。本质上使用transformers进行推理，因为没有框架的优化，执行时间最长。另一方面，由于是使用tra
"input": "输入（选填）", "output": "模型回答（必填）", } ] MOSS 指令微调数据：本案例中还支持 MOSS 格式数据，标准的.json格式的数据，内容包括可以多轮对话、指令问答。例如以下样例： { "conversation_id":
"input": "输入（选填）", "output": "模型回答（必填）", } ] MOSS 指令微调数据：本案例中还支持 MOSS 格式数据，标准的.json格式的数据，内容包括可以多轮对话、指令问答。例如以下样例： { "conversation_id":
"input": "输入（选填）", "output": "模型回答（必填）", } ] MOSS 指令微调数据：本案例中还支持 MOSS 格式数据，标准的.json格式的数据，内容包括可以多轮对话、指令问答。例如以下样例： { "conversation_id":
手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel
手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel
"input": "输入（选填）", "output": "模型回答（必填）", } ] MOSS指令微调数据：本案例中还支持MOSS格式数据，标准的.json格式的数据，内容包括可以多轮对话、指令问答。例如以下样例： { "conversation_id":
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
