检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
上述命令中：modelFile指定生成的mindir模型文件；device指定运行推理的设备。其他用法参考benchmark文档。 测试结果如下所示： 图1 测试结果 父主题： 性能调优
推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
workspace_id 否 String 工作空间id。 support_app_code 否 Boolean 是否支持APP CODE。 auth_type 否 String API的认证方式。 枚举值如下： NONE：无认证 APP：APP认证 IAM：IAM认证 api_name 否 String
auth_result Array of AppAuthResultInfo objects 授权结果列表。 表7 AppAuthResultInfo 参数 参数类型 描述 api_id String API的编号。 app_id String APP的编号，可通过查询APP列表获取。 auth_id
d}/app-auth-apis/{api_id} 响应示例 无 状态码 状态码 描述 204 No Content 401 Unauthorized 403 Forbidden 500 Server Internal Error 错误码 请参见错误码。 父主题： APP认证管理
NONE：无认证 APP：APP认证 IAM：IAM认证 predict_url String 预测地址。 service_id String 服务编号。 service_name String 服务名称。 support_app_code Boolean 是否支持APP CODE。 状态码：
开启支持APP认证功能：开启支持APP认证功能，选择已有APP应用或者创建新的APP应用。 在线服务授权管理：对创建的APP应用进行管理，包括查看、重置或删除应用，绑定或解绑应用对应的在线服务，获取“AppKey/AppSecret”或“AppCode”。 APP认证鉴权：调用支
测试用户权限 由于权限配置需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。 验证ModelArts权限。
Code列表，当APP类型为APIC时，此参数为空。 app_id String APP编号。 app_key String APP的key。 app_name String APP名称。 app_remark String APP描述，默认为空。不超过200个字符。 app_secret String
性能调优 性能测试 benchmark工具也可用于性能测试，其主要的测试指标为模型单次前向推理的耗时。在性能测试任务中，与精度测试不同，并不需要用户指定对应的输入（inDataFile）和输出的标杆数据（benchmarkDataFile），benchmark工具会随机生成一个输
署 > 在线服务”，进入在线服务页面。 单击“授权管理”后，单击创建应用即可创建App应用。 图1 授权管理 创建完App应用后即可展开App，然后单击添加AppCode即可添加AppCode。 图2 添加AppCode 单击使用ModelArts Standard一键完成商超商
Step4 测试用户权限 由于4中的权限需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子账号登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。
GPU A系列裸金属服务器如何进行RoCE性能带宽测试？ 场景描述 本文主要指导如何在GPU A系列裸金属服务器上测试RoCE性能带宽。 前提条件 GPU A系列裸金属服务器已经安装了IB驱动。（网卡设备名称可以使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20
run.sh脚本测试ModelArts训练整体流程 自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下：
CCl Test，测试节点GPU状态，并且测试多个节点间的通信速度。 操作步骤 单击资源池名称，进入资源池详情。 单击左侧“AI组件管理 > AI诊断”。 单击“诊断”，选择“日志上传路径”和NCCL Test节点，其余参数可保持默认值或根据实际需求修改。 测试使用的最大数据：取值范围[1
base块：基础配置块 ModelName块：该模型所需配置的参数，如qwen2.5-7b块 样例截图如下： 开始训练测试，具体步骤参考训练性能测试或训练精度测试，根据实际情况决定。 父主题： 训练benchmark工具
base块：基础配置块 ModelName块：该模型所需配置的参数，如qwen2.5-7b块 样例截图如下： 开始训练测试，具体步骤参考训练性能测试或训练精度测试，根据实际情况决定。 父主题： 训练benchmark工具
从上图报错日志判断，预测失败是模型推理代码编写有问题。 解决方法 根据日志报错提示，append方法中缺少必填参数，修改模型推理代码文件“customize_service.py”中的代码，给append方法中传入合理的参数。 如需了解更多模型推理代码编写说明，请参考模型推理代码编写说明。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
