检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束限制 创建在线服务时，每秒服务流量限制默认为100次，如果静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
自动学习项目中，在完成模型部署后，其生成的模型也将自动上传至模型列表中。但是自动学习生成的模型无法下载，只能用于部署上线。 创建模型、管理模型版本等功能目前是免费开放给所有用户，使用此功能不会产生费用。 创建模型的几种场景 从训练作业中导入模型文件创建模型：在ModelArts中创建训练作业，并完成
模型镜像。 服务运维阶段，先利用镜像构建模型，接着部署模型为在线服务，然后可在云监控服务（CES）中获得ModelArts推理在线服务的监控数据，最后可配置告警规则实现实时告警通知。 业务运行阶段，先将业务系统对接在线服务请求，然后进行业务逻辑处理和监控设置。 图1 推理服务的端到端运维流程图
件点在系统后台均有记录，用户可随时在对应训练作业的详情页面进行查看。 方便用户更清楚的了解训练作业运行过程，遇到任务异常时，更加准确的排查定位问题。当前支持的作业事件如下所示： 训练作业创建成功 训练作业创建失败报错： 准备阶段超时。可能原因是跨区域算法同步或者创建共享存储超时 训练作业已排队，正在等待资源分配
个关键事件点在系统后台均有记录，用户可随时在对应模型的详情页面进行查看。 方便用户更清楚的了解创建模型过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 事件类型 事件信息（“XXX”表示占位符，以实际返回信息为准） 解决方案 正常 开始导入模型。 Start model
当NPU出现故障，您可通过本方案收集NPU的日志信息。本方案中生成的日志会保存在节点上，并自动上传至华为云技术支持提供的OBS桶中，日志仅用于问题定位分析，因此需要您提供AK/SK给华为云技术支持，用于授权认证。 约束限制 当前仅支持在贵阳一、乌兰察布一使用该功能。 操作步骤 获取AK/
其他任务类型的模型，其他任务类型的模型被称为自定义模型。但是托管的自定义模型要满足规范才支持使用AI Gallery工具链服务（微调大师、在线推理服务）。 自定义模型的使用流程 托管模型到AI Gallery。 模型基础设置里的“任务类型”选择除“文本问答”和“文本生成”之外的类型。
"application/json" } } ] 将模型部署为在线服务 参考部署为在线服务将模型部署为在线服务。 在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 父主题： 制作自定义镜像用于推理
存需求增多。 处理方法 在部署或升级在线服务时，选择更大内存规格的计算节点。 图3 选择计算节点规格 运行中服务出现告警时，需要分析是您的代码是否出现漏洞导致内存溢出、是否因为业务使用量太大需要更多的内存。如果因业务原因需要更多内存，请升级在线服务选择更大内存规格的计算节点。 父主题：
Gallery在线推理服务部署模型。 如果使用自定义镜像进行训练，操作步骤可以参考使用AI Gallery微调大师训练模型，其中“训练任务类型”默认选择“自定义”，且不支持修改。 如果使用自定义镜像进行部署推理服务，操作步骤可以参考使用AI Gallery在线推理服务部署模型，
"application/json" } } ] 将模型部署为在线服务 参考部署为在线服务将模型部署为在线服务。 在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 图5 访问在线服务 父主题： Standard推理部署
Gallery中预置的模型、算法、数据、Notebook等资产，零代码完成AI建模和应用。 如果您想了解如何使用ModelArts Standard一键部署现有的模型，并在线使用模型进行预测，您可以参考使用ModelArts Standard一键完成商超商品识别模型部署。 ModelArts Standard同
模型的端口没有配置，如您在自定义镜像配置文件中修改了端口号，需要在部署模型时，配置对应的端口号，使新的模型重新部署服务。 如何修改默认端口号，请参考使用自定义镜像创建在线服务，如何修改默认端口。 父主题： 服务部署
服务预测 服务预测失败 服务预测失败，报错APIG.XXXX 在线服务预测报错ModelArts.4206 在线服务预测报错ModelArts.4302 在线服务预测报错ModelArts.4503 在线服务预测报错MR.0105 Method Not Allowed 请求超时返回Timeout
在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ ModelArts平台是否支持多模型导入？ 在ModelArts中导入模型对于镜像大小有什么限制？ ModelArts在线服务和批量服务有什么区别？ ModelArts在线服务和边缘服务有什么区别？ 在ModelA
常见问题 MindSpore Lite问题定位指南 模型转换报错如何查看日志和定位？ 日志提示Compile graph failed 日志提示Custom op has no reg_op_name attr 父主题： GPU推理业务迁移至昇腾的通用指导
登录ModelArts控制台，在自动学习作业列表中，删除正在扣费的自动学习作业。在训练作业列表中，停止因运行自动学习作业而创建的训练作业。在“在线服务”列表中，停止因运行自动学习作业而创建的服务。操作完成后，ModelArts服务即停止计费。 登录OBS控制台，进入自己创建的OBS桶
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测
训练预测分析模型 创建自动学习后，将会进行模型的训练，得到预测分析的模型。模型部署步骤将使用预测模型发布在线预测服务。 操作步骤 在新版自动学习页面，单击创建成功的项目名称，查看当前工作流的执行情况。 在“预测分析”节点中，待节点状态由“运行中”变为“运行成功”，即完成了模型的自动训练。
常节点移除，再通过扩容专属资源池获得和之前相同的总节点个数。 仅有一个节点时，无法进行删除/退订/释放操作。 授权技术支持定位故障 华为云技术支持在故障定位和性能诊断时，部分运维操作需要用户授权才可进行。您可在资源池详情页的节点页签下，找到对应节点，在操作列单击“更多 > 授权”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
