检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
训练精度测试 约束限制 目前仅支持以下模型： qwen2.5-7b qwen2-7b qwen1.5-7b llama3.2-3b llama3.1-8b llama3-8b llama2-7b yi-6b 流程图 训练精度测试流程图如下图所示。 图1 训练精度测试流程图 执行训练任务
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
训练性能测试 流程图 训练性能测试流程图如下图所示： 图1 训练性能测试流程 执行性能比较脚本 完成benchmark启动任务。 进入test-benchmark目录执行命令。 ascendfactory-cli performance <cfgs_yaml_file> --baseline
推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
测试用户权限 由于权限配置需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。 验证ModelArts权限。
s的数量对应。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图2 静态benchmark测试结果（示意图） 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpa
量对应。 --benchmark-csv：结果保存文件，如benchmark_parallel.csv。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图1 静态benchmark测试结果（示意图） 动态benchmark 本章节
量对应。 --benchmark-csv：结果保存路径，如benchmark_parallel.csv。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图1 静态benchmark测试结果（示意图） 动态benchmark 本章节
s的数量对应。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图2 静态benchmark测试结果（示意图） 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpa
脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图1 静态benchmark测试结果（示意图） 动态benchmark 本章节介绍如何进行动态benchmark验证。 获取数据集。动态benchmark需要使用数据集进行测试，可以使用公
nable-prefix-caching特性，默认为false。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图1 静态benchmark测试结果（示意图） 动态benchmark 本章节介绍如何进行动态benchmark验证。
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
s的数量对应。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图2 静态benchmark测试结果（示意图） 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpa
为false。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图2 静态benchmark测试结果（示意图） 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpa
s的数量对应。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图2 静态benchmark测试结果（示意图） 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpa
andom表示构造随机token的数据集进行测试；sharegpt表示使用sharegpt数据集进行测试；human-eval数据集表示使用human-eval数据集进行测试。注意：当输入为sharegpt或human-eval时，测试数据的输入长度为数据集的真实长度，--prompt-tokens的值会被忽略。
的接受率指标。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图2 静态benchmark测试结果（示意图） 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpa
的接受率指标。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图2 静态benchmark测试结果（示意图） 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpa
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
