检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后,将为用户提供一个可调用的API,此API为标准Restful API。您可以在服务详情页面,调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
部署模型为在线服务 模型准备完成后,您可以将模型部署为在线服务,对在线服务进行预测和调用。 约束与限制 单个用户最多可创建20个在线服务。 前提条件 数据已完成准备:已在ModelArts中创建状态“正常”可用的模型。 由于在线运行需消耗资源,确保账户未欠费。 部署服务操作需要镜
向数据传输。 前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的模型导入选择的镜像需支持WebSocket协议。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时,对预测请求体大小和预测时间有限制:
通过VPC高速访问通道的方式访问在线服务 背景说明 访问在线服务的实际业务中,用户可能会存在如下需求: 高吞吐量、低时延 TCP或者RPC请求 因此,ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道,用户的业务请求不需要经过推理平台
"Effect": "Allow" } ] } 在子用户所属用户组中添加该自定义策略权限。 在用户组页面,单击子用户所属用户组的名称,进入用户组详情页。 图5 进入用户组详情 在授权记录页签下,单击“授权”,选择您刚才创建的自定义策略及授权方案。 由
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workflows/service/auth
Socket(双向实时),它更加轻量级且易于实现。 前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。
查询用户镜像组列表 功能介绍 查询用户镜像信息概览,以镜像名称作为聚合的信息。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{
通过JupyterLab在线使用Notebook实例进行AI开发 使用JupyterLab在线开发和调试代码 JupyterLab常用功能介绍 在JupyterLab使用Git克隆代码仓 在JupyterLab中创建定时任务 上传文件至JupyterLab 下载JupyterLab文件到本地
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题: 将模型部署为实时推理作业
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题: 将模型部署为实时推理作业
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“模型管理”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1 自动学习生成的模型
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 将模型部署为实时推理作业
用户名密码认证模式 本模式支持OBS管理、训练管理、模型管理、服务管理的鉴权。 示例代码 账号与用户的概念介绍,请参见IAM基本概念。获取您的账号、用户名等信息,请参见获取用户名、用户ID、项目名称、项目ID。 使用账号认证 “username”填写您的账号名。 1 2 from
部署在线服务 部署在线服务包括: 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor,其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台,Session
用户AK-SK认证模式 本模式支持OBS管理、训练管理、模型管理、服务管理模块的鉴权。 示例代码 1 2 from modelarts.session import Session session = Session(access_key='***',secret_key='***'
30分钟。 创建子用户账号。在IAM左侧菜单栏中,选择“用户”,单击右上角“创建用户”,在“创建用户”页面中,添加多个用户。请根据界面提示,填写必选参数,然后单击“下一步”。 将子用户子账号加入用户组。在“加入用户组”步骤中,选择“用户组”,然后单击“创建用户”。系统将前面设置的多个用户加入用户组中。
创建在线服务包 功能介绍 计费工作流购买资源。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workfl
填写Token描述并选择权限,选择私有仓库访问权限,单击“Generate token”生成Token。 复制生成的Token到编译构建服务即可。 Token生成后,请及时保存,下次刷新页面将无法读取,需要重新生成新Token。 注意填写有效的Token描述信息,避免误删除导致构建失败。 无
配置ModelArts Standard基础操作权限 创建用户组。 登录IAM管理控制台,单击“用户组>创建用户组”。在“创建用户组”界面,输入“用户组名称”单击“确定”。 配置用户组权限。 在用户组列表中,单击步骤1新建的用户组右侧的“授权”,在用户组“授权”页面,您需要配置的权限如下: 配置