检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源池驱动升级操作 登录ModelArts管理控制台，在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”，在“弹性集群”页面，选择“Lite资源池”页签，查看资源池列表。 在资源池列表中，选择需要进行驱动升级的资源池“ > 驱动升级”。
print(resp.status_code) print(resp.text) “files”中的参数名由在线服务的输入参数决定，需要和“类型”为“file”的输入参数“名称”保持一致。以前提条件里获取的文件预测输入参数“images”为例。
查看性能结果 任务完成之后会在test-benchmark目录下生成excel表格： 性能结果 LLaMAFactory_train_performance_benchmark_<版本号>_<时间戳>.xlsx 表格样例如下： 父主题： 训练benchmark工具
图4 设置健康检查URL 模型推理代码customize_service.py编写有问题 如果模型推理代码customize_service.py编写有误，可以通过查看服务运行日志，定位具体原因进行修复。
微调训练 指令监督微调训练 介绍如何进行SFT全参微调/lora微调、训练任务、性能查看。 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）
执行如下命令，查看自定义镜像的CPU架构。 docker inspect {自定义镜像地址} | grep Architecture ARM CPU架构的自定义镜像，上述命令回显如下。
属性总览（Placeholder） 属性 描述 是否必填 数据类型 name 参数名称，需要保证全局唯一。
表1 创建训练作业的配置说明 参数名称 说明 “创建方式” 选择“自定义算法”。 “启动方式” 选择“自定义”。 “镜像” 选择用于训练的自定义镜像。 “代码目录” 执行本次训练作业所需的代码目录。
X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10.1) tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 swr
拉取 固件驱动：23.0.5 CANN：cann_8.0.rc2 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 FrameworkPTAdapter：6.0.RC2 如果用到CCE，版本要求是CCE Turbo v1.25及以上 软件包获取地址 软件包名称
查询训练支持的工作节点类型，与单机调测时9相同。 提交远程训练作业。
数据集的打分结果在result/{model_name}/...目录下，查找到summmary目录，有txt和csv两种保存格式。
global-option="--cpp_ext" --global-option="--cuda_ext" /cache/apex-master') 安装报错 “xxx.whl”文件无法安装，需要您按照如下步骤排查： 当出现“xxx.whl”文件无法安装，在启动文件中添加如下代码，查看当前
例如使用单机四卡训练Llama2-7B命令： MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_sft_7b.sh 最后，请参考查看日志和性能章节查看SFT微调的日志和性能
--output-prefix：处理后的数据集保存路径+数据集名称（例如：alpaca_gpt4_data）。
例如使用单机四卡训练Llama2-7B命令： MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_sft_7b.sh 最后，请参考查看日志和性能章节查看SFT微调的日志和性能
例如使用单机四卡训练Llama2-7B命令： MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_sft_7b.sh 最后，请参考查看日志和性能章节查看SFT微调的日志和性能
图3 日志收集完成 查看在脚本的同级目录下，可以看到收集到的日志压缩包。 图4 查看结果 父主题： Lite Server资源管理
/pretrain_gpt2.sh & 图3 开始预训练 实时查看训练日志，监控程序。 tail -f nohup.out 如果显示如下信息， 表示模型训练完成。
--url：API接口公网地址与"/v1/completions"拼接而成，部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
