检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
false tpu_use_sudo: false use_cpu: false 启动SD1.5 Finetune训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh run_finetune.sh 所有数据保存在auto_log/avg_step_time.txt文本中
示例，latest_checkpointed_iteration.txt文件内容：20 同时开启故障快恢和断点续训时需满足以下条件： 如果用户指定${user_converted_ckpt_path} 因故障快恢读取权重的优先级最高则训练过程的权重保存路径${output_dir
示例，latest_checkpointed_iteration.txt文件内容：20 同时开启故障快恢和断点续训时需满足以下条件： 如果用户指定${user_converted_ckpt_path} 因故障快恢读取权重的优先级最高则训练过程的权重保存路径${output_dir
现_filter方法，然后在数据预处理的参数里指定自己的handler名称即可 用户自定义执行数据处理脚本修改参数说明 如果用户要自定义数据处理脚本并且单独执行，同样以llama2为例。 方法一：用户可打开scripts/llama2/1_preprocess_data.sh脚本
描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
参数 是否必选 参数类型 描述 subscription_id 是 String 消息订阅ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 请求参数 表2 请求Body参数 参数
data/train-00000-of-00001-a09b74b3ef9c3b56.parquet，数据大小：24M左右。 自定义数据 用户也可以自行准备训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。 请注意hug
aca_gpt4_data.json）按照下面的数据存放目录要求放置。 指令微调样例数据集alpaca_gpt4_data.json的下载链接：https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpaca
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型 描述 add_sample_count
/v2/{project_id}/workforces/{workforce_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 请求参数 无 响应参数 状态码：
earch-parameter-analysis 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。
对于GPU和NPU性能比对、NPU多次训练之间性能比对的场景，昇腾提供了性能比对工具compare_tools，通过对训练耗时和内存占用的比对分析，定位到具体劣化的算子，帮助用户提升性能调优的效率。工具将训练耗时拆分为计算、通信、调度三大维度，并针对计算和通信分别进行算子级别的比对；将训练占用的总内存，拆分成算子级别的内存占用进行比对。
示例，latest_checkpointed_iteration.txt文件内容：20 同时开启故障快恢和断点续训时需满足以下条件： 如果用户指定${user_converted_ckpt_path} 因故障快恢读取权重的优先级最高则训练过程的权重保存路径${output_dir
权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。 --max-num-seqs：最大同时处理的请求数，超过后拒绝访问。 --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config
tasks/{task_id}/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 请求参数 表2 请求Body参数 参数
动修改tokenizer文件，具体请参见训练tokenizer文件说明。 Step4 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图2 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。
是 String 搜索算法类型。 algorithm_name 是 String 搜索算法名称。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 状态码：200 表2 响应Body参数 参数 参数类型 描述 file_name
data/train-00000-of-00001-a09b74b3ef9c3b56.parquet，数据大小：24M左右。 自定义数据 用户也可以自行准备训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。 请注意hug
t4_data.json.json）按照下面的数据存放目录要求放置。 样例数据集alpaca_gpt4_data.json.json的下载链接：https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpaca
_filter方法，然后在数据预处理的参数里指定自己的handler名称即可 用户自定义执行数据处理脚本修改参数说明 如果用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。 方法一：用户可打开scripts/llama2/1_preprocess_data.sh脚
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
