检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规则。 综上,在线服务的运行费用 = 计算资源费用(3.50 元) + 存储费用 示例:使用专属资源池。计费项:存储费用 假设用户于2023年4月1日10:00:00创建了一个使用专属资源池的在线服务,并在11:00:00停止运行。按照存储费用结算,那么运行这个在线服务的费用计算过程如下:
时序预测-time_series_v2算法部署在线服务预测报错 问题现象 在线服务预测报错:ERROR: data is shorter than windows。 原因分析 该报错说明预测使用的数据行数小于window超参值。 在使用订阅算法时序预测-time_series_v
单击操作列“部署>在线服务”,将模型部署为在线服务。 图6 部署在线服务 在“部署”页面,参考下图填写参数,然后根据界面提示完成在线服务创建。本案例适用于CPU规格,节点规格需选择CPU。如果有免费CPU规格,可选择免费规格进行部署(每名用户限部署一个免费的在线服务,如果您已经部
推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景:部署在线服务Predictor的推理预测
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题: 将模型部署为实时推理作业
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 将模型部署为实时推理作业
使用AI市场物体检测YOLOv3_Darknet53算法训练后部署在线服务报错 问题现象 使用AI市场物体检测YOLOv3_Darknet53算法进行训练,将数据集切分后进行部署在线服务报错,日志如下:TypeError: Cannot interpret feed_dict key
增加3条。 “部署类型” 选择此模型支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处只选择在线服务,那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 “启动命令” 指定模型的启动命令,您可以自定义该命令。 说明: 包含字符$,|,>,<,`,
实时推理的部署及使用流程 在创建完模型后,可以将模型部署为一个在线服务。当在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。访问在线服务时,您可以根据您的业务需求,分别确认使用何种认证方式、
克隆GitHub开源仓库文件到JupyterLab 上传OBS文件到JupyterLab 上传远端文件至JupyterLab 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
区域选择“Resource Monitor”,展示“CPU使用率”和“内存使用率”。 图22 资源监控 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
模型的名称。 最新版本 模型的当前最新版本。 状态 模型当前状态。 部署类型 模型支持部署的服务类型。 版本数量 模型的版本数量。 请求模式 在线服务的请求模式。 同步请求:单次推理,可同步返回结果(约<60s)。例如: 图片、较小视频文件。 异步请求:单次推理,需要异步处理返回结果(约>60s)。例如:
行历史。 图5 在Notebook Job Definitions页签单击任务名称 图6 设置定时任务 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
在开发环境中创建TensorBoard可视化作业流程 步骤一:创建开发环境并在线打开 步骤二:上传Summary数据 步骤三:启动TensorBoard 步骤四:查看看板中的可视化数据 步骤一:创建开发环境并在线打开 在ModelArts控制台,进入“开发空间 > Notebook”
表5 Monitor 参数 参数类型 描述 failed_times Integer 模型实例调用失败次数,在线服务字段。 model_version String 模型版本,在线服务字段。 cpu_memory_total Integer 总内存,单位MB。 gpu_usage Float
具体计费请以ModelArts价格计算器中的价格为准。 ModelArts Standard专属资源池、自动学习、Workflow、Notebook、训练作业、在线/批量/边缘服务 ModelArts Lite Cluster资源池 ModelArts弹性集群Server ModelArts Studio(MAAS)
约束限制 创建在线服务时,每秒服务流量限制默认为100次,如果静态benchmark的并发数(parallel-num参数)或动态benchmark的请求频率(request-rate参数)较高,会触发推理平台的流控,请在ModelArts Standard“在线服务”详情页修改服务流量限制。
约束限制 创建在线服务时,每秒服务流量限制默认为100次,如果静态benchmark的并发数(parallel-num参数)或动态benchmark的请求频率(request-rate参数)较高,会触发推理平台的流控,请在ModelArts Standard“在线服务”详情页修改服务流量限制。
上传OBS文件到JupyterLab 在Notebook的JupyterLab中,支持将OBS中的文件下载到Notebook。注意:文件大小不能超过10GB,否则会上传失败。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的ModelArts
配置授权 功能介绍 配置ModelArts授权。若没有授权,ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托,支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。