检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束限制 支持AWQ W4A16、 per-group（group-size=128）和perchannel量化。 支持AWQ量化的模型列表请参见表1。 步骤一：模型量化 可以在Huggingface开源社区获取量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题：
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注
_size 1 指定每个设备的训练批次大小 gradient_accumulation_steps 8 指定梯度累积的步数，这可以增加批次大小而不增加内存消耗。可根据自己要求适配 num_train_epochs 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。可根据自己要求适配
指定每个设备的训练批次大小 gradient_accumulation_steps 8 可修改。指定梯度累积的步数，这可以增加批次大小而不增加内存消耗。可根据自己要求适配。取值可参考表1中梯度累积值列。 num_train_epochs 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。可根据自己要求适配
yaml相对或绝对路径 <model_name>：训练模型名，如qwen2.5-7b <exp_name>：实验名称：包含训练策略类型及数据序列长度：【lora：4096-lora、full：4096-full】 训练完成后，test-benchmark目录下会生成训练日志及NPU利用率日志及权重文件，如qwen2
将最大值适当调低。 ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b 跑完mmlu要2~3小时。
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注
在JupyterLab中创建定时任务 ModelArts Notebook支持创建定时任务。本文档介绍了如何创建定时任务、一键运行Notebook文件，从而提高工作效率。 功能亮点 一键运行：允许用户一键运行Notebook文件，无需逐个执行Cell。 定时任务调度：允许用户设置
所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费：在资源页面找到需要续费的资源，单击操作列的“续费”。 图1 单个续费 批量续费：在资源页面勾选需要续费的资源，单击列表左上角的“批量续费”。 选择资源的续费时长，判断是否勾选
tart modelarts:devserver:stop modelarts:devserver:sync 创建实例、查询实例列表、查询租户所有实例列表、查询实例详情、删除实例、启动实例、停止实例、同步实例状态。 ECS ecs:serverKeypairs:createecs:*:get
docker pull {image_url} 步骤三 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录，例如/home/ma-user/ws
将最大值适当调低。 ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算着n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b 跑完mmlu要2~3小时。
并学习大模型。 构建零门槛线上模型体验，零基础开发者开箱即用，初学者三行代码使用所有模型 通过AI Gallery的模型在线模型体验，可以实现模型服务的即时可用性，开发者无需经历繁琐的环境配置步骤，即可直观感受模型效果，快速尝鲜大模型，真正达到“即时接入，即时体验”的效果。 当开发者对希望对模型进行开发和训练，AI
在Standard上部署SD WebUI推理服务 本文档主要介绍如何在ModelArts Standard的推理环境上部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 完成在DevServer上部署SD WebUI推理服务章节的任务后，如果还需要在Mo
Step1 创建用户组并加入用户 主用户账号下面可以创建多个子账号，并对子账号的权限进行分组管理。此步骤介绍如何创建用户组、子账号、并将子账号加入用户组中。 主用户登录管理控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入IAM服务。 图1 统一身份认证 创建用户组。
将最大值适当调低。 ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b 跑完mmlu要2~3小时。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
