检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题: 在线服务
在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 问题现象 在线服务启动后,当在线服务进入到“运行中”状态后,进行预测,预测请求发出后,收到的响应不符合预期,无法判断是不是模型的问题导致的不符合预期。
父主题: 管理同步在线服务
具体步骤参考训练性能测试或训练精度测试,根据实际情况决定。
ModelArts支持通过JupyterLab工具在线打开Notebook,开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。
建议与总结 无 父主题: 在线服务
通过AK/SK认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功。部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。用户可以通过AK/SK签名认证方式调用API。
创建在线服务包 功能介绍 计费工作流购买资源。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
在线服务授权管理 如果您需要使用支持APP认证功能,建议您在部署在线服务之前进行授权管理操作完成应用创建。进入“模型部署 > 在线服务”页面,单击“授权管理”,进入“在线服务授权管理”对话框。
前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的模型导入选择的镜像需支持WebSocket协议。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。
URL:在线服务的URL为服务详情页,调用指南页签中获取的“API接口公网地址”截取域名之后的地址部分。 图1 获取URL 使用图形界面的软件、curl命令、Python语言等多种方式访问在线服务。可参考通过Token认证的方式访问在线服务。 父主题: 访问在线服务支持的访问通道
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。
访问在线服务 公网访问在线服务有以下认证方式,API调用请参见认证详情: 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 访问在线服务支持的访问通道
请先在浏览器中输入该远端文件的URL地址,测试该文件是否能下载。 图5 远端文件上传失败 父主题: 上传文件至JupyterLab
父主题: 访问在线服务支持的访问通道
前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。
可以在JupyterLab的Terminal中通过执行git clone https://github.com/jupyterlab/extension-examples.git测试网络连通情况。
亮点特性4:提供在线的交互式开发调试工具JupyterLab ModelArts集成了基于开源的JupyterLab,可为您提供在线的交互式开发调试。
您可以创建一个新的模型版本,选择正确的协议(http或者https),重新部署在线服务或更新已有在线服务。
在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务(Web Service)。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫Ascend芯片,是华为自主研发的高计算力低功耗的AI芯片。