检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用大模型在ModelArts Standard创建AI应用部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入AI应用时，需要支持动态调整租户存储
在线服务部署是否支持包周期？ 在线服务不支持包周期的计费模式。 父主题： 功能咨询
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题： 将模型部署为实时推理作业
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题： 将模型部署为实时推理作业
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 将模型部署为实时推理作业
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错。 原因分析 使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。 处理方法 需要您把CV2包制作为自定
XXX，表示模型中没有导入对应依赖模块。 处理方法 依赖模块没有导入，需要您在模型推理代码中导入缺失依赖模块。 例如您的模型是Pytorch框架，部署为在线服务时出现告警：ModuleNotFoundError: No module named ‘model_service.tfserving
部署服务时，ModelArts报错“ModelArts.3520: 在线服务总数超限，限制为20”，接口返回“A maximum of xxx real-time services are allowed.”，表示服务数量超限。 正常情况下，单个用户最多可创建20个在线服务。可采取以下方式处理： 删除状态为“异常”的服务。
在线服务和边缘服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远，对于实时性要求高的计算需求，把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。而终端设备通常计算能力不
在线服务和批量服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 批量服务一次性推理批量数据，处理完服务结束。在线服务提供API接口，供用户调用推理。 父主题：
使用自定义镜像创建在线服务，如何修改默认端口 当模型配置文件中定义了具体的端口号，例如：8443，创建AI应用没有配置端口（默认端口号为8080），或者配置了其他端口号，均会导致服务部署失败。您需要把AI应用中的端口号配置为8443，才能保证服务部署成功。 修改默认端口号，具体操作如下：
使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments 问题现象 使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments... 图1 在线服务报错 原因分析 根据报错日志分析，
通过JupyterLab在线使用Notebook实例进行AI开发 使用JupyterLab在线开发和调试代码 JupyterLab常用功能介绍 在JupyterLab使用Git克隆代码仓 在JupyterLab中创建定时任务 上传文件至JupyterLab 下载JupyterLab文件到本地
在“订单信息确认”页面，确认服务信息和费用，单击“确定”跳转至在线推理服务列表页面。 当“状态”变为“运行中”表示在线推理服务部署成功，可以进行服务预测。 推理服务预测 待在线推理服务状态变为“运行中”时，便可进行推理预测。 在在线推理服务列表页面，选择服务“状态”为“运行中”的服务。
自定义镜像模型部署为在线服务时出现异常 问题现象 在部署在线服务时，部署失败。进入在线服务详情页面，“事件”页签，提示“failed to pull image, retry later”，同时在“日志”页签中，无任何信息。 图1 部署在线服务异常 解决方法 出现此问题现象，通常
时序预测-time_series_v2算法部署在线服务预测报错 问题现象 在线服务预测报错：ERROR: data is shorter than windows。 原因分析 该报错说明预测使用的数据行数小于window超参值。 在使用订阅算法时序预测-time_series_v
初始化。 因此，推荐在创建AI应用时配置健康检查，并设置合理的延迟检测时间， 实现实际业务的是否成功的检测，确保服务部署成功。 父主题： 在线服务
使用AI市场物体检测YOLOv3_Darknet53算法训练后部署在线服务报错 问题现象 使用AI市场物体检测YOLOv3_Darknet53算法进行训练，将数据集切分后进行部署在线服务报错，日志如下：TypeError: Cannot interpret feed_dict key
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 服务部署、启动、升级和修改时，镜像不断重启如何处理？ 服务部署、启动、升级和修改时，容器健康检查失败如何处理？ 服务部署、启动、升级和修改时，资源不足如何处理？
已存在部署完成的服务。 已完成模型调整，创建AI应用新版本。 操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线 > 在线服务”，默认进入“在线服务”列表。 在部署完成的目标服务中，单击操作列的“修改”，进入“修改服务”页面。 在选择模型及配置中，单击“增加模型版本进行灰度发布”添加新版本。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
