检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”，在服务列表中，您可以单击名称/ID，进入服务详情页面。 在服务详情页面，切换到“事件”页签，查看事件信息。 父主题： 管理同步在线服务
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时，自动复位Snt9B芯片并重启推理在线服务，提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。 只支持针对整节点资源复位，请确保部署的在线服务为8*N卡规格，请谨慎评估对部署在该节点的其他服务的影响。
性能调优 性能测试 benchmark工具也可用于性能测试，其主要的测试指标为模型单次前向推理的耗时。在性能测试任务中，与精度测试不同，并不需要用户指定对应的输入（inDataFile）和输出的标杆数据（benchmarkDataFile），benchmark工具会随机生成一个输
情况。在线服务列表中，刚部署的服务“状态”为“部署中”，当在线服务的“状态”变为“运行中”时，表示服务部署完成。 使用预测功能测试在线服务 模型部署为在线服务成功后，您可以在“预测”页签进行代码调试或添加文件测试。根据模型定义的输入请求不同（JSON文本或文件），测试服务包括如下两种方式：
定”跳转至在线推理服务列表页面。 当“状态”变为“运行中”表示在线推理服务部署成功，可以进行服务预测。 推理服务预测 待在线推理服务状态变为“运行中”时，便可进行推理预测。 在在线推理服务列表页面，选择服务“状态”为“运行中”的服务。 单击操作列的“推理测试”，在测试页面根据任务类型以及页面提示完成对应的测试。
t机制部署在线推理服务。首先创建一个Pod以承载服务，随后登录至该Pod容器内部署在线服务，并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1，已经把测试数据和代码打进镜像中。
base块：基础配置块 ModelName块：该模型所需配置的参数，如qwen2.5-7b块 样例截图如下： 开始训练测试，具体步骤参考训练性能测试或训练精度测试，根据实际情况决定。 父主题： 训练benchmark工具
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方式一
通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 访问在线服务支持的访问通道
部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session
VPC直连的高速访问通道，目前只支持访问在线服务。 因流量限控，获取在线服务的IP和端口号次数有限制，每个主账号租户调用次数不超过2000次/分钟，每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型，部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务，基本操作步骤如下：
部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。 图1 服务测试 下面的测试，是您在自动学习文本分类项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后，您可添加文本进行测试。在“自
图3 输入有效的远端文件URL 图4 远端文件上传成功 异常处理 远端文件上传失败。可能是网络原因。请先在浏览器中输入该远端文件的URL地址，测试该文件是否能下载。 图5 远端文件上传失败 父主题： 上传文件至JupyterLab
部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。 图1 服务测试 下面的测试，是您在自动学习预测分析项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后，您可输入代码进行测试。在“自
运行成功”，至此，已将模型部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。 图1 服务测试 下面的测试，是您在自动学习物体检测项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后，“
部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。 图1 服务测试 下面的测试，是您在自动学习声音分类项目页面将模型部署之后进行服务测试的操作步骤。 模型部署完成后，您可添加音频文件进行测试。在“自
运行成功”，至此，已将模型部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。 图1 服务测试 下面的测试，是您在自动学习图像分类项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后，“
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4302。 原因分析及处理方法 服务预测报错ModelArts.4302有多种场景，以下主要介绍两种场景： "error_msg":
l/目录中。 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation/mme_eval目录中，代码目录结构如下。 mme_eval ├──metric.py #MME精度测试脚本 ├──MME.sh
ModelArts在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。 如果实例数设置为1，表示后台的计算模式是单机模式；如果实例数设置大于1，表示后台的计算模
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
