检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
andom表示构造随机token的数据集进行测试；sharegpt表示使用sharegpt数据集进行测试；human-eval数据集表示使用human-eval数据集进行测试。注意：当输入为sharegpt或human-eval时，测试数据的输入长度为数据集的真实长度，--prompt-tokens的值会被忽略。
构造随机token的数据集进行测试；sharegpt表示使用sharegpt数据集进行测试；human-eval数据集表示使用human-eval数据集进行测试。不输入默认为random。注意：当输入为sharegpt或human-eval时，测试数据的输入长度为数据集的真实长度
andom表示构造随机token的数据集进行测试；sharegpt表示使用sharegpt数据集进行测试；human-eval数据集表示使用human-eval数据集进行测试。注意：当输入为sharegpt或human-eval时，测试数据的输入长度为数据集的真实长度，--prompt-tokens的值会被忽略。
选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 备注：当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中。 父主题： 推理性能测试
选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 备注：当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中。 父主题： 推理性能测试
选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。 备注：当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中。 父主题： 推理性能测试
构造随机token的数据集进行测试；sharegpt表示使用sharegpt数据集进行测试；human-eval数据集表示使用human-eval数据集进行测试。不输入默认为random。注意：当输入为sharegpt或human-eval时，测试数据的输入长度为数据集的真实长度
测试用户权限 由于权限配置需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。 验证ModelArts权限。
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.910）
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911）
训练网络迁移总结 确保算法在GPU训练时，持续稳定可收敛。避免在迁移过程中排查可能的算法问题，并且要有好的对比标杆。如果是NPU上全新开发的网络，请参考PyTorch迁移精度调优排查溢出和精度问题。 理解GPU和NPU的构造以及运行的差别，有助于在迁移过程中分析问题并发挥NPU的
性能调优 性能测试 benchmark工具也可用于性能测试，其主要的测试指标为模型单次前向推理的耗时。在性能测试任务中，与精度测试不同，并不需要用户指定对应的输入（inDataFile）和输出的标杆数据（benchmarkDataFile），benchmark工具会随机生成一个输
描述 phase String 网络的当前状态。可选值如下： Creating：网络创建中 Active：网络正常 Abnormal：网络不正常 connectionStatus NetworkConnectionStatus object 网络与其他云服务连通状态信息。 表10
描述 phase String 网络的当前状态。可选值如下： Creating：网络创建中 Active：网络正常 Abnormal：网络不正常 connectionStatus NetworkConnectionStatus object 网络与其他云服务连通状态信息。 表10
构造随机token的数据集进行测试；sharegpt表示使用sharegpt数据集进行测试；human-eval数据集表示使用human-eval数据集进行测试。不输入默认为random。注意：当输入为sharegpt或human-eval时，测试数据的输入长度为数据集的真实长度
多模态模型推理性能测试 多模态模型推理的性能测试目前仅支持静态性能测试。 静态性能测试是指评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代
训练benchmark工具 工具介绍及准备工作 训练性能测试 训练精度测试 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.910）
训练benchmark工具 工具介绍及准备工作 训练性能测试 训练精度测试 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.912）
描述 phase String 网络的当前状态。可选值如下： Creating：网络创建中 Active：网络正常 Abnormal：网络不正常 connectionStatus NetworkConnectionStatus object 网络与其他云服务连通状态信息。 表16
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
