检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Notebook进行AI开发调试 Notebook使用场景 创建Notebook实例 通过JupyterLab在线使用Notebook实例进行AI开发 通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook
ModelArts推理部署的在线服务详情页面内有调用次数详情,单击可查看该在线服务的调用次数随时间详细分布的情况。如果想进一步通过CES云监控查看ModelArts的在线服务和对应模型负载运行状态的整体情况,需要给子账号授予CES权限。
实例具体如下: 因运行自动学习作业,而创建的对应的训练作业和在线服务。 因运行Workflow工作流,而创建的对应的训练作业和在线服务。
使用自定义镜像创建在线服务,如何修改默认端口 ModelArts平台是否支持多模型导入 导入AI应用对于镜像大小的限制 父主题: 模型管理
面向AI工程师,熟悉代码编写和调测,您可以使用ModelArts Standard提供的在线代码开发环境,编写训练代码进行AI模型的开发。
部署在线服务,当打开APP认证时,app认证密钥是在线服务的另一个访问凭据,需要妥善保存app密钥,防止泄露。 父主题: 安全
Gallery使用流程 发布和管理AI Gallery模型 发布和管理AI Gallery数据集 发布和管理AI Gallery项目 发布和管理AI Gallery镜像 发布和管理AI Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI Gallery在线推理服务部署模型
使用ModelArts Standard部署模型并推理预测 推理部署使用场景 创建AI应用 创建AI应用规范参考 将AI应用部署为实时推理作业 将AI应用部署为批量推理服务 管理AI应用 管理同步在线服务 管理批量推理作业
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务
Standard推理部署在线服务 单个账号最多可创建20个在线服务。 是 提交工单申请提升配额 更多信息,请参见部署在线服务。 Standard推理部署批量服务 单个账号最多可创建1000个批量服务。 否 更多信息,请参见部署批量服务。
与云容器引擎的关系 ModelArts使用云容器引擎(Cloud Container Engine,简称CCE)部署模型为在线服务,支持服务的高并发和弹性伸缩需求。CCE的更多信息请参见《云容器引擎用户指南》。
与云容器引擎的关系 ModelArts使用云容器引擎(Cloud Container Engine,简称CCE)部署模型为在线服务,支持服务的高并发和弹性伸缩需求。CCE的更多信息请参见《云容器引擎用户指南》。
查看在线服务的账单 ModelArts在线服务查询资源账单首先需要获取资源名称,而ModelArts控制台展示的在线服务名称与账单中上报的资源名称不一致,您需要先了解资源名称的查询方法,以及资源名称与账单中上报的资源名称二者的对应关系。详细操作如下所述: 获取资源名称。
发布后的资产,可通过微调大师训练模型和在线推理服务部署模型,具体可参见使用AI Gallery微调大师训练模型、使用AI Gallery在线推理服务部署模型。
“部署类型” 选择此AI应用支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处只选择在线服务,那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 确认信息填写无误,单击“立即创建”,完成AI应用的创建。
pending: 待启动,仅在线有这个状态。 waiting: 资源排队中,仅在线服务有这个状态。 offset 否 Integer 分页列表的起始页,默认为0。 limit 否 Integer 指定每一页返回的最大条目数,默认为1000。
sync:同步在线服务 async:异步在线服务 accelerators Array of Accelerator objects AI引擎可使用的加速卡。
如果有免费CPU规格,可选择免费规格进行部署(每名用户限部署一个免费的在线服务,如果您已经部署了一个免费在线服务,需要先将其删除才能部署新的免费在线服务)。
如何修改默认端口号,请参考使用自定义镜像创建在线服务,如何修改默认端口。 父主题: 服务部署
步骤六:预测分析 运行完成的工作流会自动部署相应的在线服务,您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”或者在ModelArts管理控制台,选择“模型部署 > 在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。