检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。
Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
obsutil安装和配置 obsutil是用于访问、管理对象存储服务OBS的命令行工具，使用该工具可以对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。
用户的自定义镜像中的ascend相关工具不可用，导致预检失败。 处理方法 通过给训练作业加环境变量“MA_DETECT_TRAIN_INJECT_CODE”并将对应的值设置成0，就可以将预检功能关闭。环境变量说明参考查看训练容器环境变量。 父主题： Ascend相关问题
已经安装obsutil，请参考安装和配置OBS命令行工具。 OBS和训练容器间的数据传输原理可以参考在ModelArts Standard使用run.sh脚本实现OBS和训练容器间的数据传输。
使用tensorRT量化工具进行模型量化。 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
使用tensorRT量化工具进行模型量化。 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
此外，还支持在ModelArts Lite Cluster上安装Prometheus开源监控工具，方便用户使用Prometheus工具在Lite Cluster集群内直接采集监控指标数据，具体参见使用Prometheus查看Lite Cluster监控指标章节。
首先检查npu-smi工具是否可以正常使用，该工具必须能正常使用才能继续后面的固件驱动安装，输入命令“npu-smi info”，完整输出下图内容则为正常。
已经安装和配置obsutil，请参见安装和配置OBS命令行工具。
\n\n3.使用正确的工具和设备：确保您使用正确的工具和设备，并且它们得到了正确的维护和保养。\n\n4.个人防护装备：确保您和您的同事穿戴正确的个人防护装备，如安全鞋、透明眼镜或面罩、手套等。
\n\n3.使用正确的工具和设备：确保您使用正确的工具和设备，并且它们得到了正确的维护和保养。\n\n4.个人防护装备：确保您和您的同事穿戴正确的个人防护装备，如安全鞋、透明眼镜或面罩、手套等。
\n\n3.使用正确的工具和设备：确保您使用正确的工具和设备，并且它们得到了正确的维护和保养。\n\n4.个人防护装备：确保您和您的同事穿戴正确的个人防护装备，如安全鞋、透明眼镜或面罩、手套等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
