检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--tokenizer-model : tokenizer路径。 Megatron转HuggingFace参数说明 如果用户需要自动转换，则在训练作业中，添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换，则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转
--tokenizer-model : tokenizer路径。 Megatron转HuggingFace参数说明 如果用户需要自动转换，则在训练作业中，添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换，则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转
--tokenizer-model : tokenizer路径。 Megatron转HuggingFace参数说明 如果用户需要自动转换，则在训练作业中，添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换，则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转
--tokenizer-model : tokenizer路径。 Megatron转HuggingFace参数说明 如果用户需要自动转换，则在训练作业中，添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换，则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转
--tokenizer-model : tokenizer路径。 Megatron转HuggingFace参数说明 若用户需要自动转换，则在训练作业中，添加变量CONVERT_MG2HF并赋值True。若用户后续不需要自动转换，则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下：
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 标注任务ID。 请求参数 表2 请求Body参数
log”文件夹下。如果用户需要修改，可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换，则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换，则在
log”文件夹下。如果用户需要修改，可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换，则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换，则在
log”文件夹下。如果用户需要修改，可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换，则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换，则在
log”文件夹下。如果用户需要修改，可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换，则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换，则在
log”文件夹下。如果用户需要修改，可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换，则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换，则在
log”文件夹下。如果用户需要修改，可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换，则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换，则在
log”文件夹下。如果用户需要修改，可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换，则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换，则在
log”文件夹下。如果用户需要修改，可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换，则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换，则在
low_id}/service/packages 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 请求参数 表2 请求Body参数 参数
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图4 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练作业，训练完成后，请参考查看日志和性能章节查看SFT微调的日志和
Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图4 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练作业，训练完成后，请参考查看日志和性能章节查看SFT微调的日志和
Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图3 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练作业，训练完成后，请参考查看日志和性能章节查看SFT微调的日志和
Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图3 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练作业，训练完成后，请参考查看日志和性能章节查看SFT微调的日志和
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
