检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
default rm /bin/sh && ln -s /bin/bash /bin/sh 查看创建的用户，执行以下命令： id ma-user 如果出现以下信息则表示创建成功。 uid=1000(ma-user) gid=100(ma-group) groups=100(ma-group)
专属资源池到期后的状态说明，请参见到期后影响。 续费相关的功能 包年/包月专属资源池续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月专属资源池从购买到被自动删除之前，您可以随时在ModelArts控制台为专属资源池续费，以延长专属资源池的使用时间。
AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel, W8A16 per-channel
AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16 per-channel
持的引擎列表请参见ModelArts支持的预置镜像列表。 如果您使用的AI引擎为支持列表之外的，建议使用自定义镜像的方式创建训练作业。 AI Engine 选择代码使用的AI引擎及其版本。支持的AI引擎与ModelArts管理控制台里ModelArts支持的预置镜像列表一致。 Boot
AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel
参考前提条件：给子账号配置允许使用Cloud Shell的权限，完成配置。 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中，单击作业名称进入训练作业详情页面。 在训练作业详情页面，单击“Cloud Shell”页签，登录训练容器。 连接成功后，Cloud Shell界面提示如下。
密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 父主题： 权限相关
Evaluation）。 配置需要使用的NPU卡，例如：实际使用的是第1张和第2张卡，此处填写为“0,1”，以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 使用Opencompass精度测评工具 获取精度测试代码。精度测试代码存放在代码包Asce
_notebook_cache_dir_util（cache目录的利用率） 指标维度：根据实际需求选择相应的指标维度。例如service_id:xxx，然后单击“确定”。 监控对象设置完成后，选择“统计方式”和“统计周期”。 “告警条件设置”：触发条件根据实际需求设置。 图1 监控对象指标设置
在模型训练的训练作业列表页可以查看作业资源利用率情况。当作业worker-0实例的GPU/NPU的平均利用率低于50%时，在训练作业列表中会进行告警提示。 图2 作业列表显示作业资源利用率情况 此处的作业资源利用率只涉及GPU和NPU资源。作业worker-0实例的GPU/NPU平
当用户使用IAM账号登录时，训练作业列表会显示IAM账号下所有训练作业。ModelArts提供查找训练作业功能帮助用户快速查找训练作业。 操作一：单击“只显示自己”按钮，训练作业列表仅显示当前子账号下创建的训练作业。 操作二：按照名称、ID、作业类型、状态、创建时间、算法、资源池等条件筛选的高级搜索。
各个模型选用加速框架 表1 模型加速框架建议表 序号 模型参数量 文本序列长度 优化工具(Deepspeed&Accelerator) 0 小于4B cutoff_len=4096 Deepspeed-ZeRO-0 cutoff_len=8192 Deepspeed-ZeRO-0 1 小于7B
如下图所示，当分析时显式指定了标杆集群profiling数据，advisor识别到两次训练任务中0号卡的step12存在计算性能差异，则会对目标集群的0号卡step12与标杆集群的0号卡step12进行kernel（npu侧计算的算子）性能对比。基于该对比数据，可以判断两张卡上的npu算子是否存在计算性能差异。
控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0，1] 范围内。设置为1表示考虑所有tokens。 temperature
否，则联系技术支持排查节点状态。 建议与总结 环境变量NCCL_SOCKET_IFNAME用于指定通信的网卡名称。“NCCL_SOCKET_IFNAME=eth0”表示仅使用eth0网卡通信。该环境变量由系统自动注入，由于通信网卡名称不固定，因此训练代码不应默认设置该环境变量。 环境变量NCCL_IB_TIMEOUT用于控制InfiniBand
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。
配置NPU环境时增加需要开启的高阶配置参数。 词表切分 在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量。 export USE_VOCAB_PARALLEL=1 关闭词表切分的命令： unset USE_VOCAB_PARALLEL
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。
5-7b-sft-4096-lora-313T-20241028_164746-0.txt qwen2.5-7b-sft-4096-lora-313T-20241028_164746-npu_info-0.txt 执行精度比较脚本 进入test-benchmark目录执行命令: benchmark-cli
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
