检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
stop 否 None None/Str/List 用于停止生成的字符串列表。返回的输出将不包含停止字符串。 例如:["你","好"],生成文本时遇到"你"或者"好"将停止文本生成。 stream 否 False Bool 是否开启流式推理。
config.ini 否 配置文件,在指定fp32精度或者AOE打开时会生成。 onnx_to_mindspore_aoe.sh 否 在打开AOE功能时会生成。 benchmark run_benchmark.sh 是 运行benchmark的脚本,可本地直接运行。
可选 parser.add_argument("--ignore-eos", type=bool, default=False) # 在生成过程中是否忽略结束符号,在生成EOS token后继续生成token。
后续操作步骤中会提示 |── Qwen2-72B # 输出权重及日志路径,用户可根据实际自行规划,无需手动创建,此路径对应表1表格中output_dir参数值 |── saved_dir_for_output_lf # 训练输出保存权重,目录结构会自动生成
后续操作步骤中会提示 |── Qwen2-72B # 输出权重及日志路径,用户可根据实际自行规划,无需手动创建,此路径对应表1表格中output_dir参数值 |── saved_dir_for_output_lf # 训练输出保存权重,目录结构会自动生成
${workdir}(例如/home/ma-user/ws ) |──llm_train #解压代码包后自动生成的代码目录,无需用户创建 |── LLaMAFactory # 代码目录
可选 parser.add_argument("--ignore-eos", type=bool, default=False) # 在生成过程中是否忽略结束符号,在生成EOS token后继续生成token。
job_id 是 String 训练作业的id,可通过创建训练作业生成的训练作业对象查询,如"job_instance.job_id",或从查询训练作业列表的响应中获得。
自动学习生成的模型,存储在哪里?支持哪些其他操作? 自动学习训练后的模型是否可以下载?
--handler-name:生成数据集的用途,这里是生成的指令数据集,用于微调。 GeneralInstructionHandler:用于sft、lora微调时的数据预处理过程中,会对数据集full_prompt中的user_prompt进行mask操作。
图5 成功上传镜像 Step8 注册镜像 镜像上传至SWR成功后,在ModelArts控制台注册镜像。 登录ModelArts管理控制台,在左侧导航栏选择“资产管理 > 镜像管理”,然后在“镜像管理”页面右上角单击“注册镜像”。
|── preprocessed_data |──converted_hf2mg_weight_TP${TP}PP${PP} |──checkpoint # 训练完成生成目录Qwen2-7B,自动生成 父主题: 准备工作
执行多少次,则会在{model_name}下生成多少次结果。benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/...目录下,查找到summmary目录,有txt和csv两种保存格式。
执行多少次,则会在{model_name}下生成多少次结果。benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/...目录下,查找到summmary目录,有txt和csv两种保存格式。
stop 否 None None/Str/List 用于停止生成的字符串列表。返回的输出将不包含停止字符串。 例如:["你","好"],生成文本时遇到"你"或者"好"将停止文本生成。 stream 否 False Bool 是否开启流式推理。
${workdir}(例如/home/ma-user/ws ) |──llm_train #解压代码包后自动生成的代码目录,无需用户创建 |── LLaMAFactory # 代码目录
后续操作步骤中会提示 |── Qwen2-72B # 输出权重及日志路径,用户可根据实际自行规划,无需手动创建,此路径对应表1表格中output_dir参数值 |── saved_dir_for_output_lf # 训练输出保存权重,目录结构会自动生成
查看精度结果 任务完成之后会在test-benchmark目录下生成excel表格: 精度结果 LLaMAFactory_train_accuracy_benchmark_<版本号>_<时间戳>.xlsx 样例截图: 父主题: 训练benchmark工具
使用Windows下生成的文本文件时报错找不到路径? 创建Notebook文件后,右上角的Kernel状态为“No Kernel”如何处理? 父主题: 开发环境
文本生成:基于给定文本进行续写,生成新的文本。 其他类型:基于实际场景选择合适的任务类型。 说明: 如果模型的“任务类型”是除“文本问答”和“文本生成”之外的类型,则被定义为自定义模型。自定义模型必须要满足自定义模型规范,才支持使用AI Gallery工具链服务。