检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。 原因分析 从日志报错信息No CUDA runtime is
ModelArts在线服务预测请求体大小限制是多少？ 服务部署完成且服务处于运行中后，可以往该服务发送推理的请求，请求的内容根据模型的不同可以是文本，图片，语音，视频等内容。 当使用调用指南页签中显示的调用地址（华为云APIG网关服务的地址）预测时，对请求体的大小限制是12MB，超过12MB时，请求会被拦截。
ppCode认证（部署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服务，具体操作可以参考案例：使用ModelArts
ModelArts支持通过JupyterLab工具在线打开Notebook，开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。 图1 使用JupyterLab在线开发调试代码 操作步骤 创建Notebook实例。
ModelArts在线服务和边缘服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远，对于实时性要求高的计算需求，把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。而终端
指按某种策略由已知判断推出新判断的思维过程。人工智能领域下，由机器模拟人类智能，使用构建的神经网络完成推理过程。 在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务（Web Service）。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫As
功能。 用户无需自建平台，可以基于MaaS平台开箱即用，对预置大模型进行二次开发，用于生产商用。 ModelArts Lite-Server 面向云主机资源型用户，基于裸金属服务器进行封装，可以通过弹性公网IP直接访问操作服务器。 适用于已经自建AI开发平台，仅有算力需求的用户，
ModelArts在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。 如果实例数设置为1，表示后台的计算模式是单机模式；如果实例数设置大于1，表示后台的计算模
ModelArts在线服务和批量服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 批量服务一次性推理批量数据，处理完服务结束。在线服务提供API接口，供用户调用推理。
None 服务介绍 ModelArts产品 产品介绍 03:19 了解什么是ModelArts ModelArts自动学习 视频介绍 02:59 ModelArts自动学习简介 ModelArts CodeLab 视频介绍 04:16 ModelArts CodeLab介绍 JupyterLab
向数据传输。 前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的模型导入选择的镜像需支持WebSocket协议。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时，对预测请求体大小和预测时间有限制：
推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错。 原因分析 使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。 处理方法 需要您把CV2包制作为自定
单击“确定”，完成DNS内网域名的创建。 VPC访问在线服务 通过VPC访问通道访问在线服务，API如下： https://{DNS内网域名}/{URL} DNS内网域名：设置的内网域名。您还可以通过在线服务列表页，单击“VPC访问通道”，打开弹出框，查看“访问域名”。 URL：在线服务的URL为服务详情页
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 服务部署、启动、升级和修改时，镜像不断重启如何处理？ 服务部署、启动、升级和修改时，容器健康检查失败如何处理？ 服务部署、启动、升级和修改时，资源不足如何处理？
开启支持APP认证功能 在部署为在线服务时，您可以开启支持APP认证功能。或者针对已部署完成的在线服务，您可以修改服务，开启支持APP认证功能。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署 > 在线服务”，进入在线服务管理页面。 开启支持APP认证功能。 在部署为在线服务时，即“
根据提示完成身份验证，下载密钥，并妥善保管。 获取在线服务信息 在调用接口时，需获取在线服务的调用地址，以及在线服务的输入参数信息。步骤如下： 登录ModelArts管理控制台，在左侧导航栏中选择“模型部署 > 在线服务”，默认进入“在线服务”列表。 单击目标服务名称，进入服务详情页面。 在“在线服务”的详情页面
功能介绍 Standard功能介绍 MaaS大模型即服务平台功能介绍 Lite Cluster&Server介绍 AI Gallery功能介绍
约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 访问在线服务 公网访问在线服务有以下认证方式，API调用请参见认证详情： 通过Token认证的方式访问在线服务
部署模型为在线服务 模型准备完成后，您可以将模型部署为在线服务，对在线服务进行预测和调用。 约束与限制 单个用户最多可创建20个在线服务。 前提条件 数据已完成准备：已在ModelArts中创建状态“正常”可用的模型。 由于在线运行需消耗资源，确保账户未欠费。 部署服务操作需要镜
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
