检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时，自动复位Snt9B芯片并重启推理在线服务，提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。 只支持针对整节点资源复位，请确保部署的在线服务为8*N卡规格，请谨慎评估对部署在该节点的其他服务的影响。
推理精度测试 本章节介绍如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用
推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC
情况。在线服务列表中，刚部署的服务“状态”为“部署中”，当在线服务的“状态”变为“运行中”时，表示服务部署完成。 使用预测功能测试在线服务 模型部署为在线服务成功后，您可以在“预测”页签进行代码调试或添加文件测试。根据模型定义的输入请求不同（JSON文本或文件），测试服务包括如下两种方式：
使修改生效。在提交修改服务任务时，如果涉及重启，会有弹窗提醒。 在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数，升级阶段节点无效。 父主题： 管理同步在线服务
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workflows/service/auth
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”，在服务列表中，您可以单击名称/ID，进入服务详情页面。 在服务详情页面，切换到“事件”页签，查看事件信息。 父主题： 管理同步在线服务
在线服务运行中但是预测失败时，如何排查报错是不是模型原因导致的 问题现象 在线服务启动后，当在线服务进入到“运行中”状态后，进行预测，预测请求发出后，收到的响应不符合预期，无法判断是不是模型的问题导致的不符合预期。 原因分析 在线服务启动后，ModelArts提供两种方式的预测：
已在云监控页面设置告警规则，具体操作请参见设置告警规则。 在线服务已正常运行一段时间（约10分钟）。 对于新创建的在线服务，需要等待一段时间，才能查看上报的监控数据和监控视图。 故障、删除状态的在线服务，无法在云监控中查看其监控指标。当在线服务再次启动或恢复后，即可正常查看。 对接云监控之前，
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题： 使用ModelArts Standard部署模型并推理预测
部署在线服务时，自定义预测脚本python依赖包出现冲突，导致运行出错 导入模型时，需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中，推荐采用相对导入方式（Python import）导入自定义包。 如果ModelArts推理框架代码内部存在同名包，
在线服务处于运行中状态时，如何填写推理请求的request header和request body 问题现象 部署在线服务完成且在线服务处于“运行中”状态时，通过ModelArts console的调用指南tab页签可以获取到推理请求的地址，但是不知道如何填写推理请求的header及body。
SD WebUI推理性能测试 以下性能测试数据仅供参考。 开启Flash Attention 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(64GB)，约耗时7.5秒。 图1 生成图片耗时（1） 生成1280x1280图片，使用Ascend: 1*
ModelArts支持通过JupyterLab工具在线打开Notebook，开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。 图1 使用JupyterLab在线开发调试代码 操作步骤 创建Notebook实例。
SD WebUI推理性能测试 以下性能测试数据仅供参考。 开启Flash Attention 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(64GB)，约耗时7.5秒。 图1 生成图片耗时（1） 生成1280x1280图片，使用Ascend: 1*
开启支持APP认证功能 在部署为在线服务时，您可以开启支持APP认证功能。或者针对已部署完成的在线服务，您可以修改服务，开启支持APP认证功能。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署 > 在线服务”，进入在线服务管理页面。 开启支持APP认证功能。 在部署为在线服务时，即“
单击“确定”，完成DNS内网域名的创建。 VPC访问在线服务 通过VPC访问通道访问在线服务，API如下： https://{DNS内网域名}/{URL} DNS内网域名：设置的内网域名。您还可以通过在线服务列表页，单击“VPC访问通道”，打开弹出框，查看“访问域名”。 URL：在线服务的URL为服务详情页
根据提示完成身份验证，下载密钥，并妥善保管。 获取在线服务信息 在调用接口时，需获取在线服务的调用地址，以及在线服务的输入参数信息。步骤如下： 登录ModelArts管理控制台，在左侧导航栏中选择“模型部署 > 在线服务”，默认进入“在线服务”列表。 单击目标服务名称，进入服务详情页面。 在“在线服务”的详情页面
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
