检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
VPC直连的高速访问通道,目前只支持访问在线服务。 因流量限控,获取在线服务的IP和端口号次数有限制,每个主账号租户调用次数不超过2000次/分钟,每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型,部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务,基本操作步骤如下:
出现此问题,一般是因为后台服务故障导致的,建议稍等片刻,然后重新部署在线服务。如果重试超过3次仍无法解决,请获取如下信息,并联系华为云技术支持协助解决故障。 获取服务ID。 进入“部署上线>在线服务”页面,在服务列表中找到自动学习任务中部署的在线服务,自动学习部署的服务都是以“exeML-”开头的
ModelArts在线服务预测请求体大小限制是多少? 服务部署完成且服务处于运行中后,可以往该服务发送推理的请求,请求的内容根据模型的不同可以是文本,图片,语音,视频等内容。 当使用调用指南页签中显示的调用地址(华为云APIG网关服务的地址)预测时,对请求体的大小限制是12MB,超过12MB时,请求会被拦截。
以通过如下方式重启在线服务: 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>在线服务”,进入在线服务列表页面。您可以单击“操作”列的“更多>重启”,重启服务。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>在线服务”,进入在线服务列表页面。单击
表1 在线服务配置 参数 说明 名称 在线服务名称。 状态 在线服务当前状态。 来源 在线服务的来源。 服务ID 在线服务的ID。 描述 您可以单击编辑按钮,添加服务描述。 资源池 当前服务使用的资源池规格。如果使用公共资源池部署,则不显示该参数。 个性化配置 您可以为在线服务的
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”,在服务列表中,您可以单击名称/ID,进入服务详情页面。 在服务详情页面,切换到“事件”页签,查看事件信息。 父主题: 管理同步在线服务
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时,自动复位Snt9B芯片并重启推理在线服务,提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。 只支持针对整节点资源复位,请确保部署的在线服务为8*N卡规格,请谨慎评估对部署在该节点的其他服务的影响。
集成在线服务API至生产环境中应用 针对已完成调测的API,可以将在线服务API集成至生产环境中应用。 前提条件 确保在线服务一直处于“运行中”状态,否则会导致生产环境应用不可用。 集成方式 ModelArts在线服务提供的API是一个标准的Restful API,可使用HTTP
如果想使用消息通知,需要提前在自动学习、Workflow中开启消息通知功能。 具体计费可见消息通知服务价格详情。 按实际用量付费 发送短信通知费用构成:短信通知条数 发送电子邮件费用构成:电子邮件+外网下行流量 发送HTTP(S)费用构成:HTTP(S)+外网下行流量 计费示例 以下案
ModelArts在线服务处于运行中时,如何填写request header和request body? 问题现象 部署在线服务完成且在线服务处于“运行中”状态时,通过ModelArts console的调用指南tab页签可以获取到推理请求的地址,但是不知道如何填写推理请求的header及body。
"application/json" } } ] 将模型部署为在线服务 参考部署为在线服务将模型部署为在线服务。 在线服务创建成功后,您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 图5 访问在线服务 父主题: Standard推理部署
已在云监控页面设置告警规则,具体操作请参见设置告警规则。 在线服务已正常运行一段时间(约10分钟)。 对于新创建的在线服务,需要等待一段时间,才能查看上报的监控数据和监控视图。 故障、删除状态的在线服务,无法在云监控中查看其监控指标。当在线服务再次启动或恢复后,即可正常查看。 对接云监控之前,
"application/json" } } ] 将模型部署为在线服务 参考部署为在线服务将模型部署为在线服务。 在线服务创建成功后,您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 父主题: 制作自定义镜像用于推理
止或删除的时间为准。 实例具体如下: 因运行自动学习作业,而创建的对应的训练作业和在线服务。 因运行Workflow工作流,而创建的对应的训练作业和在线服务。 Notebook实例 训练作业 在线服务 例如,您在8:45:30购买了一个按需计费的专属资源池,相关资源为计算资源(v
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题: 使用ModelArts Standard部署模型并推理预测
状态码如表1那所示。 表1 状态码 状态码 编码 状态码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200
单击操作列“部署>在线服务”,将模型部署为在线服务。 图6 部署在线服务 在“部署”页面,参考下图填写参数,然后根据界面提示完成在线服务创建。本案例适用于CPU规格,节点规格需选择CPU。如果有免费CPU规格,可选择免费规格进行部署(每名用户限部署一个免费的在线服务,如果您已经部
删除资源标签 功能介绍 删除服务(目前只支持在线服务)的标签,支持批量删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_
在开发环境中创建MindInsight可视化作业流程 Step1 创建开发环境并在线打开 Step2 上传Summary数据 Step3 启动MindInsight Step4 查看训练看板中的可视化数据 Step1 创建开发环境并在线打开 在ModelArts控制台,进入“开发空间> Noteb
运行完成的工作流会自动部署为相应的在线服务,您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”直接跳转进入在线服务详情页,或者在ModelArts管理控制台,选择“模型部署 > 在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。 在服务详情页,选择“预测”页签。