检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表1。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。
查看日志和性能 查看日志 训练过程中，训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${SAVE_PATH}/logs路径下获取。日志存放路径为：/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.907）
准备工作 准备环境 准备代码 准备镜像环境 准备数据（可选） 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）
在“声音分类”节点中，待训练状态由“运行中”变为“运行成功”，即完成模型的自动训练。 训练完成后，您可以单击声音分类节点上方的按钮，查看相关指标信息，如“准确率”、“评估结果”等。 表1 评估结果参数说明 参数 说明 recall：召回率 被用户标注为某个分类的所有样本中，模型正确预测
对已标注的数据进行修改。 基于图片修改 在数据集详情页面，单击“已标注”页签，然后在图片列表中选中待修改的图片，在右侧“标注”区域中对图片信息进行修改。 修改标签：“标注”区域中，单击编辑按钮，在文本框中输入正确的标签名，然后单击确定按钮完成修改。标签颜色不支持修改。 删除标签：
les.json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中d
les.json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中d
les.json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中d
在“文本分类”节点中，待训练状态由“运行中”变为“运行成功”，即完成模型的自动训练。 图2 运行成功 训练完成后，您可以单击文本分类节点上方的按钮，查看相关指标信息，如“准确率”、“评估结果”等。评估结果参数说明请参见表1。 图3 模型评估报告 表1 评估结果参数说明 参数 说明 recall：召回率
离线训练安装包准备说明 在华为公有云平台，申请的资源一般要求连通网络。因此用户在准备环境时可以运行 scripts/install.sh 直接下载安装资源，或通过 Dockerfile 下载安装资源并构建一个新的镜像。 若用户的机器或资源池无法连通网络，并无法git clone下
子用户使用专属资源池创建训练作业无法选择已有的SFS Turbo 由于权限不足，导致子用户无法看到已有的SFS Turbo，请为子用户所在用户组添加SFS FullAccess 、SFS Turbo FullAccess权限。 父主题： 功能咨询
训练好的模型是否可以下载或迁移到其他账号？如何获取下载路径？ 通过训练作业训练好的模型可以下载，然后将下载的模型上传存储至其他账号对应区域的OBS中。 获取模型下载路径 登录ModelArts管理控制台，在左侧导航栏中选择“模型训练 > 训练作业”，进入“训练作业”列表。 在训练
LLM/AIGC/数字人基于Server适配NPU的训练推理指导 ModelArts提供了丰富的关于Server使用NPU进行训练推理的案例指导，涵盖了LLM大语言模型、AIGC文生图、数字人等主流应用场景。您可单击链接，即可跳转至相应文档查看详细指导。 LLM大语言模型 主流开
准备Notebook（可选） 本步骤为可选操作。ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。 本案例中，若用户需要自定义开发，可通过Notebook环境进行数据预处理、权重转换等
附录：大模型推理standard常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified
训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
