检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理JMeter测试报告 测试报告说明 JMeter测试报告提供实时、离线两种类型的测试报告,供用户随时查看和分析测试数据。 JMeter测试报告说明如表1所示。 测试报告展现了测试过程中被测系统在模拟高并发用户的响应性能,为了更好阅读测试报告,请参考以下信息: 统计维度:测试报告的RP
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试,数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
报告对比 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”,单击待操作工程后的。 在“性能报告”页签下,选择需要对比报告的任务,单击任务名称。 在“报告列表”单击“报告对比”。 勾选需要对比的测试报告,单击“确定”。 最多可以选择3份离线报告进行对比,第一勾选的报告作为基线报告。
插件管理,可以搜索需要的插件并安装,也可以对已安装的插件进行管理,比如卸载、停用等。 :训练任务列表展示,展开训练任务可查看任务下的文件、日志等。 4 代码编辑区。当前联邦学习工程的主算法文件可直接用于训练任务的训练,无需进行导入数据,及加入训练时的数据集配置操作。如果需要定制,可自行修改代码。 5 面板区
新创建的用户登录控制台,切换至授权区域,验证权限:在“服务列表”中选择“性能测试 CodeArts PerfTest”,进入性能测试服务主界面,左侧导航栏中选择“PerfTest测试工程”,在右侧页面单击“创建测试工程”,如果能创建测试工程,说明权限设置成功。 父主题: 权限管理
/WEBSOCKET/MQTT仅支持内容校验。 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待添加请求信息的用例。 在
推理精度测试 本章节介绍如何进行推理精度测试,建议在Notebook的JupyterLab中另起一个Terminal,进行推理精度测试。若需要在生产环境中进行推理精度测试,请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu
推理精度测试 本章节介绍如何进行推理精度测试,请在Notebook的JupyterLab中另起一个Terminal,进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua
查看与评估CodeArts TestPlan测试质量 查看CodeArts TestPlan测试质量看板 评估CodeArts TestPlan测试质量
同一个自动学习项目可以训练多次,每次训练会注册一个新的模型一个版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行模型部署的操作。 评估结果说明 根据训练数据类的不同评估结果会包含不同的指标。 离散值评估结果 包含
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
使用性能测试服务需要哪些权限? 租户账号默认具有Administrator权限,在使用性能测试服务前,需要授权性能测试服务创建私有资源组。 租户下面的子用户(即IAM用户)需要配置相关权限后,才可以使用性能测试服务,具体参见为IAM用户配置相关的权限。完成相关权限配置后,IAM用
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
PerfTest测试用例管理 测试用例说明 测试用例目录管理 创建测试用例 配置测试用例(高性能测试工程) 配置测试用例(可扩展测试工程) 设置全局变量(高性能测试工程) 设置全局变量(可扩展测试工程) 绑定域名 插件管理 撤销修改 管理测试用例 调试用例 批量操作
期由周级降低至小时级。 JMeter测试工程可以为用户提供JMeter原生引擎的支持,用户可在JMeter测试工程里导入JMeter脚本,使用JMeter原生引擎快速发起高并发的性能测试。 图1 JMeter测试工程 父主题: JMeter测试工程管理
支持联邦学习,模型可以采用多地数据进行联合训练,提升样本多样性,提升模型效果 支持迁移学习,只需少量数据即可完成非首站点模型训练,提升模型泛化能力 模型自动重训练,持续优化模型效果,解决老化劣化问题 预置多种高价值通信增值服务,缩短模型交付周期 无需AI技能,支持模型自动生成,业务人员快速使用
Redis备份恢复迁移性能测试数据 测试环境说明 测试实例规格: Redis 5.0 8G主备 Redis 5.0 32G主备 Redis 5.0 64G Proxy集群( 副本数:2 | 分片数:8 | 分片容量:8 GB ) Redis 5.0 256G Proxy集群( 副本数:2
任务的列表。 “智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。
关联分析对象 为测试任务选择关联分析对象。如果测试任务处于已启动状态,则无法关联分析对象。 前提条件 测试任务处于未启动状态。 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。
测试用例目录管理 测试用例目录是以目录形式组织和管理测试工程下测试用例的一种展示结构。 前提条件 已创建PerfTest测试工程。 创建测试用例目录 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。