云服务器内容精选

华为云首页用户手册

云端推理框架

网络智能体-推理服务

推理服务云端推理框架提供模型云端运行框架环境，用户可以在线验证模型推理效果，无须从零准备计算资源、搭建推理框架，只需将模型包加载到云端推理框架，一键发布成云端Web Service推理服务，帮助用户高效低成本完成模型验证。其中，“推理服务”主界面默认展示所有推理服务，用户可查看推理服务详情，并对推理服务进行一系列操作。在模型管理界面，单击模型包所在行，对应操作列的。进入推理服务验证页面，如图1所示。支持用户在界面上直接验证模型推理效果。页面中显示了推理服务的API接口信息。系统默认支持“POST / ”接口，并且支持在模型包中自定义REST接口，通过在线推理发布成REST服务。图1 推理验证在页面左侧“验证消息”区域中输入json格式的数据，单击“快速验证”。右侧“返回结果”区域框会给出在线推理结果。在菜单栏中，选择“推理服务”。进入推理服务主页面，页面以图表的形式展示所有推理服务，如图2所示。图2 推理服务界面说明如表1所示。表1 推理服务界面说明区域参数参数说明 1 支持通过名称快速检索推理服务。支持通过推理服务的状态快速筛选相同状态下的推理服务。状态包括：运行中、部署中、已停止、告警、部署失败、后台异常。用于刷新推理服务界面内容。使用“模型仓库”中的模型包创建新的推理服务。 2 查看推理服务详情信息，包括：CPU/内存/GPU当前使用量、模型包详情、历史更新记录和事件详情。推理服务的日志。支持通过“自定义时间段”筛选日志。支持复制推理服务提供的API接口地址。进入快速验证界面，支持用户在界面上直接验证模型推理效果。将推理服务授权给其他用户使用。服务发布者将推理服务授权给他人后，授权界面会生成“访问地址”，被授权用户可凭借自己的账户Token和“访问地址”调用推理服务的API接口。停止运行推理服务。修改推理服务的配置信息，包括是否开启自动停止、版本、计算节点规格、计算节点个数、分流、环境变量。删除推理服务。推理服务主页面快速入口：模型训练服务首页左上角品牌Logo旁Home图标的标识内容，单击展开下拉选项，选择“推理服务”。父主题：云端推理框架

网络智能体云端推理框架