检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例,执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值
Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值
Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值
Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例,执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值
release_to_gallery() 发布完成后可前往gallery查看相应的资产信息,资产权限默认为private,可在资产的console页面自行修改。 进入AI Gallery。 单击“我的Gallery>我的资产>Workflow”,进入我的Workflow页面。 在“我的发布”页签中查看发布到AI
ormer.git 修改lr_scheduler.py文件,把第27行:t_mul=1. 注释掉。 修改data文件夹下imagenet22k_dataset.py,把第28行:print("ERROR IMG LOADED: ", path) 注释掉。 修改data文件夹下的build
error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。调用成功时无此字段。 请求示例 如下以修改“job_id”为10的作业描述为例。 PUT https://endp
本章节介绍预训练前的超参配置,可以根据实际需要修改。 预训练脚本baichuan2.sh,存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前,可以根据实际需要修改超参配置。 表1 超参配置 参数 值 参数说明
的值如果无需修改,则在parameters字段中可以不填写,系统自动填充相关超参值 inputs=wf.steps.JobInput(name="data_url", data=obs_data), # JobStep的输入在运行时配置;data字段也可使用data=wf
如需其他配置参数,可参考表1按照实际需求修改 Step3 启动训练脚本 启动训练前需修改启动训练脚本demo.sh 内容。具体请参考•修改启动脚本。 对于falcon-11B训练任务开始前,需手动替换tokenizer中的config.json,具体请参见falcon-11B模型。 修改完yaml配置文
如需其他配置参数,可参考表1按照实际需求修改。 Step3 启动训练脚本 修改完yaml配置文件后,启动训练脚本。模型不同最少NPU卡数不同,NPU卡数建议值可参考表1。 修改启动脚本demo.sh 进入代码目录{work_dir}/llm_train/LLaMAFactory下修改启动脚本,其中{w
String 需要更改的训练作业的描述信息。 无成功响应参数 表3 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息,调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码,调用成功时无此字段。 error_solution
否,忽略此步骤,执行下一步; ②修改yaml文件路径:修改demo.sh最后一行代码,将demo.yaml配置文件路径修改为自己实际绝对路径:{work_dir}/llm_train/LLaMAFactory/demo.yaml,例如将以下命令 修改前 FORCE_TORCHRUN=1
切换到“网络”页签,单击“创建”,弹出“创建网络”页面。 图1 网络列表 在“创建网络”弹窗中填写网络信息。 网络名称:创建网络时默认生成网络名称,也可自行修改。 网段类型:可选“预置”和“自定义”。自定义网络目前支持网段范围:10.0.0.0/8~26、172.16.0.0/12~26、192.168
使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。 检查资源分配情况(cpu/mem/gpu/snt9/infiniband)是否符合预期。
物体检测标注时除了位置、物体名字,是否可以设置其他标签,比如是否遮挡、亮度等? 可以通过修改数据集给标签添加自定义属性来设置一些自定义的属性。 图1 修改数据集 父主题: Standard数据管理
名字必须一致),如果使用自定义模型权重文件,则需要修改权重配置才能正常运行模型;如果使用推荐的模型权重文件,则不需要修改权重配置,可以跳过该步骤。修改后的权重文件要更新至OBS桶中。 ChatGLM3-6B、GLM-4-9B 修改文件“tokenization_chatglm.py”。
pem: No such file or directory”如何解决? 问题现象 原因分析 密钥文件不存在于该路径下,或者该路径下密钥文件名被修改。 解决方法 重新选择密钥路径。 父主题: VS Code连接开发环境失败故障处理
pem: No such file or directory”如何解决? 问题现象 原因分析 密钥文件不存在于该路径下,或者该路径下密钥文件名被修改。 解决方法 重新选择密钥路径。 父主题: VS Code连接开发环境失败常见问题
zer文件,需要修改代码。修改文件chatglm3-6b/tokenization_chatglm.py 。 文件最后几处代码中需要修改,具体位置可根据上下文代码信息进行查找,修改后如图所示。 图2 修改ChatGLMv3-6B tokenizer文件 图3 修改ChatGLMv3-6B