检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
XXX，表示模型中没有导入对应依赖模块。 处理方法 依赖模块没有导入，需要您在模型推理代码中导入缺失依赖模块。 例如您的模型是Pytorch框架，部署为在线服务时出现告警：ModuleNotFoundError: No module named ‘model_service.tfserving
部署模型为在线服务 模型准备完成后，您可以将模型部署为在线服务，对在线服务进行预测和调用。 约束与限制 单个用户最多可创建20个在线服务。 前提条件 数据已完成准备：已在ModelArts中创建状态“正常”可用的模型。 由于在线运行需消耗资源，确保账户未欠费。 部署服务操作需要镜
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 服务部署、启动、升级和修改时，镜像不断重启如何处理？ 服务部署、启动、升级和修改时，容器健康检查失败如何处理？ 服务部署、启动、升级和修改时，资源不足如何处理？
ppCode认证（部署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服务，具体操作可以参考案例：使用ModelArts
6-gpu"。修改完成后，重新执行导入模型和部署为在线服务的操作。 参数设置完成后，单击“下一步”，确认规格参数，单击“提交”，完成在线服务的部署。 您可以进入“模型部署 > 在线服务”页面，等待服务部署完成，当服务状态变为“运行中”时，表示服务部署成功。预计时长2分钟左右。 在线服务部署完成后，您可以单
Jupyter Notebook，提供在线的代码开发环境。 业务开发者 使用自动学习构建模型 AI初学者 使用自定义算法构建模型 免费体验ModelArts 免费体验CodeLab 自动学习 口罩检测（使用新版自动学习实现物体检测） 部署在线服务 使用大模型在ModelArts
迁移环境准备 迁移环境准备有以下两种方式： 表1 方式说明 序号 名称 说明 方式一 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 优点：可快速、低成本地搭建环境，使用标准化容器镜像，官方Notebook示例可直接运行。 缺点：由于是
参数填写完成后，单击“创建”，确认订单信息无误后，单击“确定”跳转至AI应用详情页。 当资产状态变为“运行中”表示AI应用部署完成。在AI应用详情页的“应用”页签，可以在线体验应用。 父主题： 发布和管理AI Gallery中的AI应用
使用大模型在ModelArts Standard创建模型部署在线服务 第三方推理框架迁移到ModelArts Standard推理自定义引擎 ModelArts Standard推理服务支持VPC直连的高速访问通道配置 ModelArts Standard的WebSocket在线服务全流程开发 从0-1制作自定义镜像并创建模型
表1 在线服务配置 参数 说明 名称 在线服务名称。 状态 在线服务当前状态。 来源 在线服务的来源。 服务ID 在线服务的ID。 描述 您可以单击编辑按钮，添加服务描述。 资源池 当前服务使用的资源池规格。如果使用公共资源池部署，则不显示该参数。 个性化配置 您可以为在线服务的
重启服务使修改生效。在提交修改服务任务时，如果涉及重启，会有弹窗提醒。 在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数，升级阶段节点无效。 修改在线服务参数时，可通过增加一个自定义的环境变量参数，触发服务重启。例如，如果
用户在训练模型过程中，存在因硬件故障而产生的训练失败场景。针对硬件故障场景，ModelArts提供容错检查功能，帮助用户隔离故障节点，优化用户训练体验。 容错检查包括两个检查项：环境预检测与硬件周期性检查。当环境预检查或者硬件周期性检查任一检查项出现故障时，隔离故障硬件并重新下发训练作业
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”，在服务列表中，您可以单击名称/ID，进入服务详情页面。 在服务详情页面，切换到“事件”页签，查看事件信息。 父主题： 管理同步在线服务
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时，自动复位Snt9B芯片并重启推理在线服务，提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。 只支持针对整节点资源复位，请确保部署的在线服务为8*N卡规格，请谨慎评估对部署在该节点的其他服务的影响。
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workflows/service/auth
以通过如下方式重启在线服务： 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署>在线服务”，进入在线服务列表页面。您可以单击“操作”列的“更多>重启”，重启服务。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署>在线服务”，进入在线服务列表页面。单击
推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
环境准备 迁移环境准备有以下两种方式： 表1 迁移环境准备方式 方式 说明 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 环境开通指导请参考Notebook环境创建。 ModelArts Lite DevServer 该环境
障节点，优化用户训练体验。 容错检查包括两个检查项：环境预检测与硬件周期性检查。当环境预检查或者硬件周期性检查任一检查项出现故障时，隔离故障硬件并重新下发训练作业。针对于分布式场景，容错检查会检查本次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中，如
集成在线服务API至生产环境中应用 针对已完成调测的API，可以将在线服务API集成至生产环境中应用。 前提条件 确保在线服务一直处于“运行中”状态，否则会导致生产环境应用不可用。 集成方式 ModelArts在线服务提供的API是一个标准的Restful API，可使用HTTP
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
