检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改服务个性化配置 服务个性化配置规则由配置条件、访问版本、自定义运行参数（包括配置项名称和配置项值）组成。 您可以为在线服务的不同版本设定不同配置条件，并支持携带自定义运行参数。 个性化配置规则的优先级与顺序相对应，从高到低设置。您可以通过拖动个性化配置规则的顺序更换优先级。
signature_defs: signature.append(signature_def) if len(signature) == 1: model_signature = signature[0]
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后，将为用户提供一个可调用的API，此API为标准Restful API。您可以在服务详情页面，调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
OBS桶，OBS并行文件系统，SFS Turbo挂载成功。 [%s] %s volume successfully. - 服务部署和运行过程中，关键事件支持手动/自动刷新。 查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”，在服务列表中，您可以单击名称/ID，进入服务详情页面。
OBS桶，OBS并行文件系统，SFS Turbo挂载成功。 [%s] %s volume successfully. - 服务部署和运行过程中，关键事件支持手动/自动刷新。 查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 批量服务”，在服务列表中，您可以单击名称/ID，进入服务详情页面。
Method Not Allowed 问题现象 服务预测报错：Method Not Allowed 原因分析 服务预测默认注册的API需要使用POST方法调用。如您使用了GET方法，APIG（API网关）将会拦截请求。 处理方法 使用POST方法调用。 父主题： 服务预测
导入模型提示该账号受限或者没有操作权限 问题现象 在导入AI应用时，提示用户账号受限。 原因分析 提示用户账号受限，常见原因有如下几种： 导入模型账号欠费导致被冻结； 导入模型账号没有对应工作空间的权限； 导入模型账号为子账号，主账号没有给子账号赋予模型相关权限。 权限说明请参见：策略及授权项说明；
使用ModelArts Standard部署模型并推理预测 推理部署使用场景 创建模型 创建模型规范参考 将模型部署为实时推理作业 将模型部署为批量推理服务 管理ModelArts模型 管理同步在线服务 管理批量推理作业
再进行单独计费。由专属资源池进行收费。 Standard中模型部署为服务后如何收费？ ModelArts支持将模型按照业务需求部署为服务。训练类型不同，部署后的计费方式不同。 将模型部署为服务时，根据数据集大小评估模型的计算节点个数，根据实际编码情况选择计算模式。 具体计费方式请参见ModelArts产品价格详情。
如果有多模型复合场景，推荐使用自定义镜像方式，通过从容器镜像（SWR）中选择元模型的方式创建模型部署服务。 制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题： Standard推理部署
在开发环境中部署本地服务进行调试 可以通过部署本地服务来进行调试，即在导入模型或模型调试后，在开发环境Notebook中部署Predictor进行本地推理。 只支持使用ModelArts Notebook部署本地服务。 开发环境本地服务Predictor和在线服务Predictor说明
VPC访问在线服务”增加内网域名解析。 登录云解析服务DNS管理控制台，左侧导航栏选择“内网域名”。 单击“创建内网域名”，打开创建内网域名弹出框。填写以下参数配置： 域名：遵循命名规范“infer-modelarts-<regionId>.modelarts-infer.com”，例如：infer-
原因分析 根据报错日志分析，是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码中的x[0][i]修改为x[i]，重新部署服务进行预测。 父主题： 服务预测
），它更加轻量级且易于实现。 前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4302。 原因分析及处理方法 服务预测报错ModelArts.4302有多种场景，以下主要介绍两种场景： "error_msg":
模型转换指定OBS路径。 按需配置。 表2 部署上线所需权限 业务场景 依赖的服务 依赖策略项 支持的功能 配置建议 部署服务 ModelArts modelarts:service:* 部署、启动、查新、更新模型服务。 建议配置。 仅在严格授权模式开启后，需要显式配置左侧权限。 LTS lts:logs:list
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行，ModelArts
--disable-async-output-proc：关闭异步后处理特性，关闭后性能会下降。 多机部署启动推理服务（可选） 当单机显存无法放下模型权重时，可选用多机方式部署；多机部署方式，需要机器在同一个集群，NPU卡之间IP能够ping通方可，具体步骤如下： 查看卡IP，在其中一个宿主机上执行。
优先排查APIG（API网关）是否是通的，可以在本地使用curl命令排查，命令行：curl -kv {预测地址}。如返回Timeout则需排查本地防火墙，代理和网络配置。 检查模型是否启动成功或者模型处理单个消息的时长。因APIG（API网关）的限制，模型单次预测的时间不能超过40S，超过后系统会默认返回Timeout错误。
在线服务预测报错ModelArts.4503 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4503。 原因分析及处理方法 服务预测报错ModelArts.4503有多种场景，常见场景如下： 通信出错 请求报错：{"
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
