网络智能体-推理服务

时间：2023-11-01 16:13:43

网络智能体云端推理框架

推理服务

云端推理框架提供模型云端运行框架环境，用户可以在线验证模型推理效果，无须从零准备计算资源、搭建推理框架，只需将模型包加载到云端推理框架，一键发布成云端Web Service推理服务，帮助用户高效低成本完成模型验证。

其中，“推理服务”主界面默认展示所有推理服务，用户可查看推理服务详情，并对推理服务进行一系列操作。

在模型管理界面，单击模型包所在行，对应操作列的。
进入推理服务验证页面，如图1所示。支持用户在界面上直接验证模型推理效果。

页面中显示了推理服务的API接口信息。系统默认支持“POST / ”接口，并且支持在模型包中自定义REST接口，通过在线推理发布成REST服务。
图1 推理验证
在页面左侧“验证消息”区域中输入json格式的数据，单击“快速验证”。
右侧“返回结果”区域框会给出在线推理结果。

在菜单栏中，选择“推理服务”。

进入推理服务主页面，页面以图表的形式展示所有推理服务，如图2所示。

图2 推理服务

界面说明如表1所示。

表1 推理服务界面说明
区域	参数	参数说明
1		支持通过名称快速检索推理服务。
		支持通过推理服务的状态快速筛选相同状态下的推理服务。状态包括：运行中、部署中、已停止、告警、部署失败、后台异常。
		用于刷新推理服务界面内容。
		使用“模型仓库”中的模型包创建新的推理服务。
2		查看推理服务详情信息，包括：CPU/内存/GPU当前使用量、模型包详情、历史更新记录和事件详情。
		推理服务的日志。支持通过“自定义时间段”筛选日志。
		支持复制推理服务提供的API接口地址。
		进入快速验证界面，支持用户在界面上直接验证模型推理效果。
		将推理服务授权给其他用户使用。服务发布者将推理服务授权给他人后，授权界面会生成“访问地址”，被授权用户可凭借自己的账户Token和“访问地址”调用推理服务的API接口。
		停止运行推理服务。
		修改推理服务的配置信息，包括是否开启自动停止、版本、计算节点规格、计算节点个数、分流、环境变量。
		删除推理服务。