检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图4 购买弹性云服务器时选择VPC 图5 查看虚拟私有云配置信息 获取在线服务的IP和端口号 可以通过使用图形界面的软件（以Postman为例）获取服务的IP和端口号，也可以登录弹性云服务器（ECS），创建Python环境运行代码，获取服务IP和端口号。
图4 发送数据 父主题： 访问在线服务支持的传输协议
可以使用ModelArts提供的以下认证方式： token认证 AK/SK APP认证 SSE服务调用如下（以图形界面的软件Postman进行预测，token认证为例）： 图1 SSE服务调用 图2 响应头Content-Type 正常情况下，可以观察到响应头Content-Type
如下图所示： 图1 容器调用接口 如果您在“容器调用接口”中选择的结果跟您镜像实际提供的结果不匹配，例如您在这里选择的是https，但镜像里面实际提供的是http，就会遇到上述错误。反之，如果您选择的是http，但镜像里面实际提供的是https，也会遇到类似错误。
在线服务预测报错DL.0105 问题现象 在线服务预测报错DL.0105，报错日志：“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析，是因为一个float数据被当做对象下标访问了。
ModelArts在线服务和批量服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 批量服务一次性推理批量数据，处理完服务结束。
部署的在线服务状态为告警 问题现象 在部署在线服务时，状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4302。
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。
ModelArts在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。
The operation, 'images', does not exist in the graph。
图1 模型配置参数 单击“立即创建”，进入模型列表页，等模型状态变为“正常”，表示模型创建成功。 使用模型部署在线服务 登录ModelArts管理控制台，进入“模型部署 >在线服务”页面，单击“部署”，跳转至在线服务部署页面。
ModelArts在线服务和边缘服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远，对于实时性要求高的计算需求，把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。
图5 设置元模型来源 在模型列表页面，当模型状态变为“正常”时，表示模型创建成功。单击模型操作列的“部署”，弹出“版本列表”，单击操作列“部署>在线服务”，将模型部署为在线服务。 图6 部署在线服务 在“部署”页面，参考下图填写参数，然后根据界面提示完成在线服务创建。
图2 添加AppCode 单击使用ModelArts Standard一键完成商超商品识别模型部署案例中创建的在线服务名称，进入在线服务详情页，单击“修改”，进入修改在线服务页面。
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错。 原因分析 使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。
ModelArts在线服务预测请求体大小限制是多少？ 服务部署完成且服务处于运行中后，可以往该服务发送推理的请求，请求的内容根据模型的不同可以是文本，图片，语音，视频等内容。
图3 采用自定义引擎，开启动态加载并配置健康检查示例图 部署在线服务 部署服务时，需满足以下参数配置： 自定义部署超时时间 大模型加载启动的时间一般大于普通的模型创建的服务，请配置合理的“部署超时时间”，避免尚未启动完成被认为超时而导致部署失败。
图1 调用接口 当部署推理服务的“安全认证”选择了“AppCode认证”，则需要将复制的接口代码中headers中的X-Apig-AppCode的参数值修改为真实的AppCode值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
