检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务,随后登录至该Pod容器内部署在线服务,并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_
出现此问题,一般是因为后台服务故障导致的,建议稍等片刻,然后重新部署在线服务。如果重试超过3次仍无法解决,请获取如下信息,并联系华为云技术支持协助解决故障。 获取服务ID。 进入“部署上线>在线服务”页面,在服务列表中找到自动学习任务中部署的在线服务,自动学习部署的服务都是以“exeML-”开头的
自动学习中部署上线是将模型部署为什么类型的服务? 自动学习中部署上线是将模型部署为在线服务,您可以添加图片或代码进行服务测试,也可以使用URL接口调用。 部署成功后,您也可以在ModelArts管理控制台的“部署上线 > 在线服务”页面中,查看到正在运行的服务。您也可以在此页面停止服务或删除服务。
同步状态解决。 步骤三:使用订阅模型部署在线服务 模型订阅成功后,可将此模型部署为在线服务。 在展开的版本列表中,单击“部署 > 在线服务”跳转至部署页面。 图5 部署模型 在部署页面,参考如下说明填写关键参数。 “名称”:自定义一个在线服务的名称,也可以使用默认值,此处以“商超商品识别服务”为例。
自动学习训练后的模型是否可以下载? 不可以下载。但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: 模型训练
删除服务存在如下两种删除方式。 根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据部署在线服务生成的服务对象删除服务
可以在创建训练作业页面添加标签,也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。 在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。 可以在创建弹性
异常的详细原因、服务被启动、停止、更新的时间点等。 事件保存周期为1个月,1个月后自动清理数据。 查看服务的事件类型和事件信息,请参见查看在线服务的事件 日志 展示当前服务下每个模型的日志信息。包含最近5分钟、最近30分钟、最近1小时和自定义时间段。 自定义时间段您可以选择开始时间和结束时间。
6-gpu"。修改完成后,重新执行导入模型和部署为在线服务的操作。 参数设置完成后,单击“下一步”,确认规格参数,单击“提交”,完成在线服务的部署。 您可以进入“模型部署 > 在线服务”页面,等待服务部署完成,当服务状态变为“运行中”时,表示服务部署成功。预计时长2分钟左右。 在线服务部署完成后,您可以单
调用API接口创建训练作业和部署服务时,如何填写资源池的参数? 调用API接口创建训练作业时,“pool_id”为“资源池ID”。 调用API接口部署在线服务时,“pool_name”为“资源池ID” 。 图1 资源池ID 父主题: API/SDK
自动学习声音分类预测报错ERROR:input key sound is not in model 根据在线服务预测报错日志ERROR:input key sound is not in model inputs可知,预测的音频文件是空。预测的音频文件太小,换大的音频文件预测。 父主题:
表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 响应参数 无 请求示例 如下以修改uuid为3faf5c03-aaa1-4cbe-879d-24b05d9
detection_scores 每个检测框的置信度。 图2 检测框的四点坐标示意图 由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版本管理区域,单击“停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继续使用此服务,可单击“启动”恢复。 如果您启用了
调用接口访问在线服务。 表1 预测结果中的参数说明 参数 说明 predicted_label 该段文本的预测类别。 score 预测为此类别的置信度。 由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版本管理区域,单击“停止”,即可停止在线服务的部署,避
训练作业的ID。 请求消息 请求消息如表2所示。 表2 请求参数 参数 是否必选 参数类型 说明 job_desc 是 String 对训练作业的描述,字符串的长度限制为[0, 256]。 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 描述 is_success Boolean
请求消息 请求参数如表2所示。 表2 请求参数 参数 是否为必选 参数类型 说明 job_desc 是 String 对可视化作业的描述,字符串的长度限制为[0,256]。 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。
参数说明 表1 请求参数 参数 是否必选 参数类型 描述 name 否 String 版本名称,必须是中文、字母、数字、下划线或中划线组成的合法字符串,长度为1-32位。 version_format 否 String 数据集版本格式。可选值如下: Default:默认格式 label_task_type
位,仅包含英文、数字、下划线(_)和中划线(-),并且以英文开头的名称。 type 否 String 参数的类型,枚举值如下: str:字符串 int:整型 bool:布尔类型 float:浮点型 description 否 String Workflow工作流配置参数的描述。 example
部署图像分类服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中,待服务部署节点的状态变为“等待输入”时,双击“服务部署”进入配置详情页,完成资源的参数配置操作。
返回结果如图2所示:predict为目标列的预测结果。 图2 预测结果 由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在“在线服务”的操作列单击“更多>停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继续使用此服务,可单击“启动”恢复。 如果您