检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。
在线服务预测报错DL.0105 问题现象 在线服务预测报错DL.0105，报错日志：“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析，是因为一个float数据被当做对象下标访问了。
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4302。
在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务（Web Service）。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫Ascend芯片，是华为自主研发的高计算力低功耗的AI芯片。
使用模型部署在线服务 登录ModelArts管理控制台，进入“模型部署 >在线服务”页面，单击“部署”，跳转至在线服务部署页面。
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。
ModelArts在线服务和批量服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 批量服务一次性推理批量数据，处理完服务结束。
ModelArts在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。
在ModelArts中，支持在部署在线服务时开启AppCode认证（部署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。
使用大模型在ModelArts Standard创建模型部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错。 原因分析 使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。
ModelArts在线服务和边缘服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远，对于实时性要求高的计算需求，把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。
例如您的模型是Pytorch框架，部署为在线服务时出现告警：ModuleNotFoundError: No module named ‘model_service.tfserving_model_service’，则需要您在推理代码customize_service.py里使用from
图22 资源监控 父主题： 通过JupyterLab在线使用Notebook实例进行AI开发
使用AI Gallery在线推理服务部署模型 AI Gallery支持将训练的模型或创建的模型资产部署为在线推理服务，可供用户直接调用API完成推理业务。 约束限制 如果模型的“任务类型”是“文本问答”或“文本生成”，则支持在线推理。
自定义镜像模型部署为在线服务时出现异常 问题现象 在部署在线服务时，部署失败。进入在线服务详情页面，“事件”页签，提示“failed to pull image, retry later”，同时在“日志”页签中，无任何信息。
在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ 当模型配置文件中定义了具体的端口号，例如：8443，创建模型没有配置端口，或者配置了其他端口号，均会导致服务部署失败。您需要把模型中的端口号配置为8443，才能保证服务部署成功。
使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments 问题现象 使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments...
时序预测-time_series_v2算法部署在线服务预测报错 问题现象 在线服务预测报错：ERROR: data is shorter than windows。 原因分析 该报错说明预测使用的数据行数小于window超参值。
问题现象 部署在线服务完成且在线服务处于“运行中”状态时，通过ModelArts console的调用指南tab页签可以获取到推理请求的地址，但是不知道如何填写推理请求的header及body。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
