检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理批量推理作业 查看批量服务详情 查看批量服务的事件 管理批量服务生命周期 修改批量服务配置 父主题： 使用ModelArts Standard部署模型并推理预测
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4302。 原因分析及处理方法 服务预测报错ModelArts.4302有多种场景，以下主要介绍两种场景： "error_msg":
模型包结构介绍 模型配置文件编写说明 模型推理代码编写说明 自定义引擎创建模型规范 自定义脚本代码示例 父主题： 使用ModelArts Standard部署模型并推理预测
您也可以通过单击描述右侧的，对描述信息进行编辑。 从“输出数据目录位置”参数右侧获取详细OBS地址，前往此OBS目录，可以获取批量服务预测结果，包括预测结果文件和模型预测结果。 如果预测成功，目录下有预测结果文件和模型预测结果；如果预测失败，目录下只有预测结果文件。 预测结果文件：文件格式为“xxx
人工智能解决方案、应用、API及算法模型，助力用户快速部署、接入、调用相关应用，方便地购买和使用算法模型。 发布至云商店AI专区的模型为商业售卖资产。买家需购买商品的使用配额进行有偿使用。 云商店仅支持企业级卖家发布商品，请在首次发布商品前入驻华为云商店成为企业级卖家。 发布至AI大赛
版本管理的功能，您可以基于版本对模型进行管理。 前提条件 已在ModelArts中创建模型。 创建新版本 在“模型”页面，单击操作列的“创建新版本”进入“创建新版本”页面，参数配置除版本外，将默认选择上一个版本的配置信息，您可以对参数配置进行修改，参数说明请参见创建模型。单击“立即创建”，完成新版本的创建操作。
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测
is larger than 5G and cannot be imported. 模型文件xxx大于5G，请精简模型文件后重试，或者使用动态加载功能进行导入。FAQ 异常 因系统内部原因创建OBS桶失败，请联系技术支持。 Failed to create bucket due to
重写模型父类的初始化方法init可能导致模型“运行异常”。 可以使用的属性为模型所在的本地路径，属性名为“self.model_path”。另外pyspark模型在“customize_service.py”中可以使用“self.spark”获取SparkSession对象。 推理
查看模型的事件类型和事件信息，请参见查看ModelArts模型事件 使用约束 根据创建模型时的设置，显示部署服务的使用约束，如请求模式、启动命令、模型加密等。对于异步请求模式的模型，可显示输入模式、输出模式、服务启动参数和作业配置参数等参数。 关联服务 展示使用该模型部署的服务列表，单击服务名称可以直接跳转到服务详情页面。
情，包括“应用名称”、“AppKey”、“AppSecret”等信息。您也可以在此处对APP应用进行“添加授权”或“解除授权”的操作。 预测 对在线服务进行预测。具体操作请参见使用预测功能测试在线服务。 实例 查看异步在线服务的实例信息。这里的实例个数和部署服务时设置的“实例数”
Token认证：Token具有时效性，有效期为24小时，需要使用同一个Token鉴权时，可以缓存起来，避免频繁调用。 AK/SK认证：使用AK/SK对请求进行签名，在请求时将签名信息添加到消息头，从而通过身份认证。AK/SK签名认证方式仅支持消息体大小12M以内，12M以上的请求请使用Token认证。 APP认证
JSON文本预测：如当前部署服务的模型，其输入类型指定的为JSON文本类，即不含有文件类型的输入，可以在“预测”页签输入JSON代码进行服务预测。 文件预测：如当前部署服务的模型，其输入类型指定为文件类，可包含图片、音频或视频等场景，可以在“预测”页签添加图片进行服务预测。 如果您
Gallery订阅模型”，跳转至“AI Gallery”模型列表，选择模型进行订阅。订阅模型的操作指导请参见买家指导（订阅模型）。 “自定义模型”列表，单击“AI Gallery订阅模型”，跳转至“AI Gallery”模型列表，选择模型进行订阅。 将订阅模型部署为服务 针对订阅模型，支持将模型一键部署为服务。
则需要符合一定的模型包规范。 模型包规范适用于单模型场景，如果是多模型场景（例如含有多个模型文件）推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎，推荐使用自定义镜像方式。 请参考创建模型的自定义镜像规范和从0-1制作自定义镜像并创建模型，制作自定义镜像。 推
前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。 约束限制 服务升级关系着业务实现，不当的升级操作会导致升级期间业务中断的情况，请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备，做好验证，即可实现业务不中断的无损升级。 表1
前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。 约束限制 服务升级关系着业务实现，不当的升级操作会导致升级期间业务中断的情况，请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备，做好验证，即可实现业务不中断的无损升级。 表1
Allowed 问题现象 服务预测报错：Method Not Allowed 原因分析 服务预测默认注册的API需要使用POST方法调用。如您使用了GET方法，APIG（API网关）将会拦截请求。 处理方法 使用POST方法调用。 父主题： 服务预测
查看批量服务的事件 服务的（从用户可看见部署服务任务开始）整个生命周期中，每一个关键事件点在系统后台均有记录，用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 表1 事件 事件类型 事件信
如果在线服务开启了“运行日志输出”，删除服务时，推荐同时删除LTS中的日志以及日志流，避免LTS日志流超过限额产生额外费用，如后续不再使用，建议删除。 重启服务 只有当在线服务处于“运行中”或“告警”状态时，才可进行重启操作。批量服务、边缘服务不支持重启。您可以通过如下方式重启在线服务： 登录ModelArts管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
