检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题： 将模型部署为实时推理作业
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 将模型部署为实时推理作业
部署图像分类服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中，待服务部署节点的状态变为“等待输入”时，双击“服务部署”进入配置详情页，完成资源的参数配置操作。
调用接口访问在线服务。 表1 预测结果中的参数说明 参数 说明 predicted_label 该段音频的预测类别。 score 预测为此类别的置信度。 由于“运行中”的在线服务将持续耗费资源，如果不需再使用此在线服务，建议在版本管理区域，单击“停止”，即可停止在线服务的部署，避
自定义镜像模型部署为在线服务时出现异常 问题现象 在部署在线服务时，部署失败。进入在线服务详情页面，“事件”页签，提示“failed to pull image, retry later”，同时在“日志”页签中，无任何信息。 图1 部署在线服务异常 解决方法 出现此问题现象，通常
使用大模型在ModelArts Standard创建模型部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入模型时，需要支持动态调整租户存储配额；模
删除资源标签 功能介绍 删除服务（目前只支持在线服务）的标签，支持批量删除。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/{project_
在线服务和边缘服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远，对于实时性要求高的计算需求，把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。而终端设备通常计算能力不
infer_type 是 String 推理方式，取值为real-time/batch/edge。 real-time代表在线服务，将模型部署为一个Web Service，并且提供在线的测试UI与监控能力，服务一直保持运行。 batch为批量服务，批量服务可对批量数据进行推理，完成数据处理后自动停止。
部署服务时，ModelArts报错“ModelArts.3520: 在线服务总数超限，限制为20”，接口返回“A maximum of xxx real-time services are allowed.”，表示服务数量超限。 正常情况下，单个用户最多可创建20个在线服务。可采取以下方式处理： 删除状态为“异常”的服务。
API进行的Python封装，以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts SDK目前只提供Python语言的SDK，同时支持大于3.7.x版本且小于3.10.x版本的Python版本，推荐使用3
添加资源标签 功能介绍 给指定服务添加标签（目前只支持在线服务），当添加的标签key已存在，则覆盖该标签的value。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI
ance_count(更新模型服务实例数量)，仅运行中、告警、异常状态下的在线服务可以执行该操作。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PUT /v1/{
若权重文件大于60G，创建AI应用会报错，提示模型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“模型部署 > 在线服务 > 部署”，开始部署在线服务。 设置部署服务名称，选择Step2 部署模型中创建的
时序预测-time_series_v2算法部署在线服务预测报错 问题现象 在线服务预测报错：ERROR: data is shorter than windows。 原因分析 该报错说明预测使用的数据行数小于window超参值。 在使用订阅算法时序预测-time_series_v
使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments 问题现象 使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments... 图1 在线服务报错 原因分析 根据报错日志分析，
通过JupyterLab在线使用Notebook实例进行AI开发 使用JupyterLab在线开发和调试代码 JupyterLab常用功能介绍 在JupyterLab使用Git克隆代码仓 在JupyterLab中创建定时任务 上传文件至JupyterLab 下载JupyterLab文件到本地
name/obs_file.txt",path="/home/user/obs_file.txt") 父主题： 通过JupyterLab在线使用Notebook实例进行AI开发
使用自定义镜像创建在线服务，如何修改默认端口 当模型配置文件中定义了具体的端口号，例如：8443，创建AI应用没有配置端口（默认端口号为8080），或者配置了其他端口号，均会导致服务部署失败。您需要把AI应用中的端口号配置为8443，才能保证服务部署成功。 修改默认端口号，具体操作如下：
已存在部署完成的服务。 已完成模型调整，创建AI应用新版本。 操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线 > 在线服务”，默认进入“在线服务”列表。 在部署完成的目标服务中，单击操作列的“修改”，进入“修改服务”页面。 在选择模型及配置中，单击“增加模型版本进行灰度发布”添加新版本。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
