检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以通过如下方式重启在线服务: 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>在线服务”,进入在线服务列表页面。您可以单击“操作”列的“更多>重启”,重启服务。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>在线服务”,进入在线服务列表页面。
在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数,升级阶段节点无效。 父主题: 管理同步在线服务
在部署服务详情中单击“调用指南”,第二行的API接口公网地址即为APP认证调用地址,展开后即可看到AppCode值。
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”,在服务列表中,您可以单击名称/ID,进入服务详情页面。 在服务详情页面,切换到“事件”页签,查看事件信息。 父主题: 管理同步在线服务
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时,自动复位Snt9B芯片并重启推理在线服务,提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。
专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足 停止在线服务后,需要等待几分钟等待资源释放。 父主题: Standard资源池
集成在线服务API至生产环境中应用 针对已完成调测的API,可以将在线服务API集成至生产环境中应用。 前提条件 确保在线服务一直处于“运行中”状态,否则会导致生产环境应用不可用。
父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
请先在浏览器中输入该远端文件的URL地址,测试该文件是否能下载。 图5 远端文件上传失败 父主题: 上传文件至JupyterLab
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题: 使用ModelArts Standard部署模型并推理预测
父主题: 在线服务
父主题: 管理同步在线服务
ModelArts支持通过JupyterLab工具在线打开Notebook,开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。
Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“部署上线 > 在线服务 > 部署”,开始部署在线服务。 图5 部署在线服务 设置部署服务名称,选择Step2 部署模型中创建的AI应用。
创建在线服务包 功能介绍 计费工作流购买资源。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
本机的外网IP地址可以在主流搜索引擎中搜索“IP地址查询”获取。 图1 查询外网IP地址 父主题: 环境配置相关
Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“部署上线 > 在线服务 > 部署”,开始部署在线服务。 图5 部署在线服务 设置部署服务名称,选择Step2 部署模型中创建的AI应用。
父主题: 访问在线服务支持的访问通道
前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。