检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
run_benchmark_accuracy.sh 是 benchmark运行精度的脚本，可本地直接运行。 performance.txt 是 benchmark性能测试结果。 accuracy.txt 是 精度测试结果。
重复输出感叹号 检查启动推理服务章节中，高精度模式的环境变量是否开启。
top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。 temperature 否 1.0 Float 控制采样的随机性的浮点数。较低的值使模型更加确定性，较高的值使模型更加随机。
GPU业务迁移至昇腾训练推理 ModelArts昇腾迁移调优工具总览 GPU训练业务迁移至昇腾的通用指导 基于AIGC模型的GPU推理业务迁移至昇腾指导 GPU推理业务迁移至昇腾的通用指导 基于advisor的昇腾训练性能自助调优指导 Dit模型Pytorch迁移与精度性能调优 msprobe
配置环境变量章节中，高精度模式的环境变量是否开启。
配置环境变量章节中，高精度模式的环境变量是否开启。
精度评测和性能评测。具体请参考推理服务精度评测和推理服务性能评测。 父主题： 推理关键特性使用
export USE_PREFIX_HIGH_PRECISION_MODE=1 # 针对Qwen2-7B、Qwen2-72B模型，在开启prefix-caching时，需要同时使用带有prefix-caching的高精度attention算子避免精度异常。
配置环境变量章节中，高精度模式的环境变量是否开启。
准备工作 参考benchmark-准备工作，开始训练测试，具体步骤参考训练性能测试或训练精度测试，根据实际情况决定。 父主题： 训练benchmark工具
/work_dirs/eval_msvd/$CKPT下，存在两个文件，可以查看推理的精度和性能结果 精度结果文件：accuracy_${time_stamp}.json 性能结果文件：performance_${time_stamp}.json 图1 精度结果 图2 性能结果 父主题
业界主流开源大模型覆盖全 MaaS集成了业界主流开源大模型，含Llama、Baichuan、Yi、Qwen、AIGC等模型系列，所有的模型均基于昇腾AI云服务进行全面适配和优化，使得精度和性能显著提升。
export USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。
export USE_PREFIX_HIGH_PRECISION_MODE=1 # 针对Qwen2-7B、Qwen2-72B模型，在开启prefix-caching时，需要同时使用带有prefix-caching的高精度attention算子避免精度异常。
因此，数据校验非常重要，可以帮助人工智能开发者提前发现数据问题，有效防止数据噪声造成的算法精度下降或者训练失败问题。 数据清洗：数据清洗是指对数据进行去噪、纠错或补全的过程。 数据清洗是在数据校验的基础上，对数据进行一致性检查，处理一些无效值。
标注为难例的数据，对后续模型训练中，通过内置规则提升模型精度。 登录ModelArts管理控制台，在左侧菜单栏中选择“数据准备>数据标注”，单击“我创建的”页签可查看所有作业列表。
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）
export USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型和Qwen2-57b模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
