检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.910）
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911）
管理测试任务 测试任务创建成功后，您可以对测试任务和任务阶段进行管理。 批量启动测试任务 启动同一测试工程下的多个测试任务。 登录性能测试服务控制台，在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行，单击工程名称进入测试工程详情页面。 选择
配置测试用例（高性能测试工程） 填写用例详情 配置用例步骤 添加请求信息（报文） 添加请求信息（思考时间） 添加请求信息（响应提取） 添加请求信息（检查点） 添加数据指令、循环控制器、条件判断、集合点 添加并发权重控制器、吞吐量控制器 压力配置 高级配置 SLA配置 父主题： PerfTest测试用例管理
工程导入成功后，单击“关闭”。您可以根据业务需要参照修改测试工程和管理事务请求信息修改测试工程。 查看测试工程 创建完成测试工程后，可以查看已有的测试工程。 登录性能测试服务控制台，在左侧导航栏中选择“PerfTest测试工程”。 在搜索框输入测试工程名称，可以根据名称搜索测试工程来查看测试工程。 也可以根据下拉框来查看不同范围的测试工程。
查看测试报告 操作步骤 登录性能测试服务控制台，选择左侧导航栏的“PerfTest测试工程”。 在PerfTest测试工程所在行，单击测试工程名称，例如前面创建的测试工程“Web-test”，进入测试工程详情页面。 在“测试任务”页签，选择测试任务，如前面创建的测试任务“taskA”，单击操作栏的。
推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。
用例详情用于描述该测试用例的测试背景、需要的前置条件和测试步骤，目的是记录测试用例的基本信息，便于复用。用例详情可以不填写。 操作步骤 登录性能测试服务控制台，在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行，单击工程名称进入测试工程详情页面。
创建联邦学习工程 创建工程 编辑代码（简易编辑器） 编辑代码（WebIDE） 模型训练 父主题： 模型训练
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
设置全局变量（高性能测试工程） 全局变量概述（高性能测试工程） 整数、枚举型和文本型全局变量添加 csv格式或者xlsx格式全局变量文件添加 变量读取规则 插入变量 父主题： PerfTest测试用例管理
性能测试服务测试时申请的带宽大小对测试有什么影响？ 用户压测的请求和响应的模型不一样，所需带宽也不一样。 例如5000TPS，每个请求包大小是1KB，那么总的上行带宽是5000KB，下行带宽也是一样的估算方式。 对于带宽的限制是限制上行带宽，因此POST/PUT等带Body的请求会比较消耗带宽资源。
String 训练作业的id，可通过创建训练作业生成的训练作业对象查询，如"job_instance.job_id"，或从查询训练作业列表的响应中获得。 表2 返回参数说明 参数 参数类型 描述 kind String 训练作业类型。默认使用job。 枚举值： job：训练作业 hetero_job：异构作业
配置用例步骤 测试用例创建完成后可以对测试用例进行修改来满足自身业务需求。 创建用例步骤 登录性能测试服务控制台，在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行，单击工程名称进入测试工程详情页面。 选择“测试用例”页签，在左侧“用例列表”下选择待配置的测试用例。
run.sh脚本测试ModelArts训练整体流程 自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下： 建
持通过“Ctrl+F”方式搜索日志。 ：将当前训练工程加入训练。 ：返回到当前训练工程所在的“模型训练”页面。 训练任务：查看训练任务的运行状态。可以查看训练任务的运行日志以及训练报告，删除训练任务。也可以在任务执行过程中单击暂停训练任务。 3 代码目录：包含日志文件夹、模型文件
高级配置 操作步骤 登录性能测试服务控制台，在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行，单击工程名称进入测试工程详情页面。 选择“测试用例”页签，在左侧“用例列表”下选择待配置的测试用例。 选择页面右侧的“高级配置”。 设置执行器：执
字节。 描述 新建测试工程的描述信息。 配置完成后，单击“确定”。 JMeter测试工程创建成功后，即可为测试工程添加测试计划，详细操作请参见管理JMeter测试计划。 重命名和删除测试工程 性能测试服务支持修改和删除已创建的JMeter测试工程。 登录性能测试服务控制台，在左侧导航栏中选择“JMeter测试工程”。
行反复测试，得到应用所能承受的最大值，进行持续优化和验证。 管理测试计划 测试计划创建成功后，您可以对测试计划进行管理。 批量启动测试计划 启动同一测试工程下的多个测试计划。 登录性能测试服务控制台，在左侧导航栏中选择“JMeter测试工程”，单击待操作工程后的。 在“测试计划”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
