检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。
/pretrain_gpt2.sh & 图3 开始预训练 实时查看训练日志,监控程序。 tail -f nohup.out 如果显示如下信息, 表示模型训练完成。
获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。
--url:API接口公网地址与"/v1/completions"拼接而成,部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code:获取方式见访问在线服务(APP认证)。
例如使用单机四卡训练Llama2-7B命令: MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_sft_7b.sh 最后,请参考查看日志和性能章节查看SFT微调的日志和性能
例如使用单机四卡训练Llama2-7B命令: MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_sft_7b.sh 最后,请参考查看日志和性能章节查看SFT微调的日志和性能
MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_lora_7b.sh 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。
训练成功标志 “***** train metrics *****”关键字打印 训练完成后,请参考查看日志和性能章节查看指令微调的日志和性能。
例如使用单机四卡训练Llama2-7B命令: MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_sft_7b.sh 最后,请参考查看日志和性能章节查看SFT微调的日志和性能
MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_lora_7b.sh 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。
如果您是订阅者,可以在AI Gallery中,查找您想要的AI资产,并查看资产详情,对于满足业务需要的资产,您可以直接订阅并推送至ModelArts使用。 如果您是发布者,可以将自己开发的AI资产,发布至AI Gallery中,共享给其他用户使用。
lora_target all 采取lora策略方法的目标模块,默认为all dataset 指令微调/ppo:alpaca_en_demo rm/dpo:dpo_en_demo 多模态数据集(图像):mllm_demo,identity 【可选】 注册在dataset_info.json
获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 os.modelarts/name String 用户指定的pool名称。
例如下图查询出两张卡,若希望使用第一和第二张卡,则“export ASCEND_RT_VISIBLE_DEVICES=0,1”,注意编号不是填4、5。 图1 查询结果 配置环境变量。
例如下图查询出两张卡,如果希望使用第一和第二张卡,则“export ASCEND_RT_VISIBLE_DEVICES=0,1”,注意编号不是填4、5。 图1 查询结果 配置环境变量。
{image_id} 为docker镜像的ID,在宿主机上可通过docker images查询得到。 Step5 进入容器安装推理依赖软件 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
查看精度结果 任务完成之后会在test-benchmark目录下生成excel表格: 精度结果 LLaMAFactory_train_accuracy_benchmark_<版本号>_<时间戳>.xlsx 样例截图: 父主题: 训练benchmark工具
在模型列表中,您可以查看刚创建的模型及其对应的版本。当模型状态变更为“正常”时,表示模型导入成功。在此页面,您还可以创建新版本、快速部署服务、发布模型等操作。
获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。
获取路径:Support-E,在此路径中查找下载ModelArts 6.3.911版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。