检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署服务:模型构建完成后,根据您的业务场景,选择将模型部署成对应的服务类型。 将模型部署为实时推理作业 将模型部署为一个Web Service,并且提供在线的测试UI与监控功能,部署成功的在线服务,将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。
只支持使用ModelArts Notebook部署本地服务。 示例代码 在ModelArts Notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 将自定义的推理文件和模型配置文件保存在训练生成的模型文件目录下。如训
py,只允许放置一个,customize_service.py依赖的文件可以直接放model目录下 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 1 2 3 4 5 from modelarts.session import
模型镜像。 服务运维阶段,先利用镜像构建模型,接着部署模型为在线服务,然后可在云监控服务(CES)中获得ModelArts推理在线服务的监控数据,最后可配置告警规则实现实时告警通知。 业务运行阶段,先将业务系统对接在线服务请求,然后进行业务逻辑处理和监控设置。 图1 推理服务的端到端运维流程图
Standard部署模型并推理预测 推理部署使用场景 创建模型 创建模型规范参考 将模型部署为实时推理作业 将模型部署为批量推理服务 管理ModelArts模型 管理同步在线服务 管理批量推理作业
delArts平台上进行训练。镜像中使用的AI引擎是PyTorch,训练使用的资源是CPU或GPU。 从0制作自定义镜像并用于训练(MPI+CPU/GPU) MPI 镜像制作 自定义镜像训练 - 此案例介绍如何从0到1制作镜像,并使用该镜像在ModelArts平台上进行训练。镜像
在ModelArts中如何将图片划分到验证集或者训练集? 目前只能指定切分比例,随机将样本划分到训练集或者验证集,不支持指定。 切分比例的指定: 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。
Gallery工具链服务创建成功且实际开始运行时,才会上报话单并开始计费,其他状态不上报就不计费,各个服务开始计费的状态如下。 微调大师:“训练中” AI应用:“运行中” 在线推理服务:“运行中” 计费规则 资源整点扣费,按需计费。 计费的最小单位为秒,话单上报后的每一小时对用户账号进行一次扣费。如果使用过程中暂停、终止了消耗资源的AI
ebook实例。 训练作业:训练作业运行时会收取费用,使用完请及时停止训练作业。同时,也需清理存储到OBS中的数据。 模型部署:模型部署为在线服务、边缘服务时,会收取费用,使用完请及时停止服务。同时,也需清理存储到OBS中的数据。 专属资源池:在使用ModelArts进行AI全流
tor,其运行环境就是cpu.2u。 部署在线服务Predictor,即将存储在OBS中的模型文件部署到线上服务管理模块提供的容器中运行,其环境规格(如CPU规格,GPU规格)由表3 predictor configs结构决定。 部署在线服务Predictor需要线上服务端根据A
查询模型列表 示例代码 在ModelArts Notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1:查询当前用户所有模型 1 2 3 4 5 6 from modelarts.session import Session
如何在ModelArts的Notebook的CodeLab上安装依赖? ModelArts CodeLab中已安装Jupyter、Python程序包等多种环境,您也可以使用pip install在Notebook或Terminal中安装依赖包。 在Notebook中安装 在总览页面进入CodeLab。
运行完成的工作流会自动部署为相应的在线服务,您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”直接跳转进入在线服务详情页,或者在ModelArts管理控制台,选择“模型部署 > 在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。 在服务详情页,选择“预测”页签。
场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务,随后登录至该Pod容器内部署在线服务,并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_
查询模型详情 查询当前模型对象的信息。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据导入模型生成的模型对象进行模型详情查询 1 2 3 4 5 6 7 from modelarts
OBS管理 OBS管理概述 文件传输(推荐) 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹
续费概述 续费简介 包年/包月专属资源池到期后会影响ModelArts正常使用。如果您想继续使用,需要在指定的时间内为资源池续费,否则资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月专属资源池,按需计费专属资源池不需要续费,只需要保证账户余额充足即可。 专属资源池
手动续费 包年/包月专属资源池从购买到被自动删除之前,您可以随时在ModelArts控制台为专属资源池续费,以延长专属资源池的使用时间。 在ModelArts控制台续费 包年/包月的Standard专属资源池、弹性集群Lite Cluster资源池和弹性节点Server资源池在购买成功后支持手动续费操作。
AI应用管理 查询模型runtime 查询AI应用列表 创建AI应用 查询AI应用详情 删除AI应用
APP认证管理 获取APP列表 创建APP 查询APP详情 删除APP 增加AppCode 重置AppCode 删除AppCode 重置AppSecret 获取用户绑定APP的api列表 注册API并授权给APP 删除API 授权API至APP 更新API授权 解除API对APP的授权