检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务（Web Service）。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫Ascend芯片，是华为自主研发的高计算力低功耗的AI芯片。
在ModelArts管理控制台，可正常创建Notebook、训练作业、注册镜像。 验证SFS权限。 在左上角的服务列表中，选择SFS服务，进入SFS管理控制台。
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4302。
登录指令输入之后，使用下列示例命令： docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明： <镜像仓库地址>：可在SWR控制台上查询，容器镜像服务中登录指令末尾的域名即为镜像仓库地址。
您可以创建一个新的AI应用版本，选择正确的协议（http或者https），重新部署在线服务或更新已有在线服务。
部署推理服务 登录AI Gallery。 单击“模型”进入模型列表。 选择需要部署为推理服务的模型，单击模型名称进入模型详情页。 在模型详情页，选择“部署 > 推理服务”进入部署推理服务页面。 在部署推理服务页面完成参数配置。
登录指令输入之后，使用下列示例命令： docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明： <镜像仓库地址>：可在SWR控制台上查询，容器镜像服务中登录指令末尾的域名即为镜像仓库地址。
对于使用公共资源池创建的自动学习作业： 登录ModelArts控制台，在自动学习作业列表中，删除正在扣费的自动学习作业。在训练作业列表中，停止因运行自动学习作业而创建的训练作业。在在线服务列表中，停止因运行自动学习作业而创建的服务。操作完成后，ModelArts服务即停止计费。
使用大模型在ModelArts Standard创建AI应用部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错 原因分析 使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。
ModelArts SDK不支持在训练作业和在线服务中使用。 ModelArts SDK已经集成在ModelArts开发环境Notebook中，可以直接使用，无需进行Session鉴权。
对于使用公共资源池创建的自动学习作业： 登录ModelArts控制台，在自动学习作业列表中，删除正在扣费的自动学习作业。在训练作业列表中，停止因运行自动学习作业而创建的训练作业。在在线服务列表中，停止因运行自动学习作业而创建的服务。操作完成后，ModelArts服务即停止计费。
父主题： 通过JupyterLab在线使用Notebook实例进行AI开发
在线服务部署是否支持包周期？ 在线服务不支持包周期的计费模式。 父主题： 功能咨询
前提条件 注册并登录华为云，详细操作请参见准备工作。 打开Notebook实例 登录“AI Gallery”。 选择“资产集市 > Notebook”，进入Notebook页面，该页面展示了所有共享的Notebook实例。
例如您的AI应用是Pytorch框架，部署为在线服务时出现告警：ModuleNotFoundError: No module named ‘model_service.tfserving_model_service’，则需要您在推理代码customize_service.py里使用
在ModelArts中，支持在部署在线服务时开启AppCode认证（部署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 将AI应用部署为实时推理作业
在线服务和批量服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 批量服务一次性推理批量数据，处理完服务结束。在线服务提供API接口，供用户调用推理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
