检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取样本搜索条件 功能介绍 获取样本搜索条件。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets/{dataset_id
Workflow工作流管理 获取Workflow工作流列表 新建Workflow工作流 删除Workflow工作流 查询Workflow工作流 修改Workflow工作流 总览Workflow工作流 查询Workflow待办事项 在线服务鉴权 创建在线服务包 获取Execution
表5 Monitor 参数 参数类型 描述 failed_times Integer 模型实例调用失败次数,在线服务字段。 model_version String 模型版本,在线服务字段。 cpu_memory_total Integer 总内存,单位MB。
在线服务:用户将模型部署为在线服务后,可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计,具体参见查看服务详情章节。 父主题: ModelArts Standard资源监控
如果有免费CPU规格,可选择免费规格进行部署(每名用户限部署一个免费的在线服务,如果您已经部署了一个免费在线服务,需要先将其删除才能部署新的免费在线服务)。
将模型部署为实时推理作业 将模型部署为一个Web Service,并且提供在线的测试UI与监控功能,部署成功的在线服务,将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。
debug_url String 在线服务在线调试地址,只有当模型支持在线调试且只有一个实例的时候会存在。 due_time Number 在线服务自动停止时间,距“1970.1.1 0:0:0 UTC”的毫秒数,未配置自动停止则不返回。
查询AppKey和AppSecret,使用APP认证访问在线服务,请参考访问在线服务(APP认证)。 父主题: 服务预测
使用自定义镜像创建在线服务,如何修改默认端口? 服务预测请求体大小限制是多少?
删除Workflow后,对应的训练作业和在线服务不会随之被删除,需要分别在“模型训练>训练作业”和“模型部署>在线服务”页面中手动删除任务。 父主题: 管理Workflow
图1 部署模型的流程 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。 支持各种部署场景,既能部署为云端的在线推理服务和批量推理任务,也能部署到端,边等各种设备。 一键部署,可以直接推送部署到边缘设备中,选择智能边缘节点,推送模型。
模型部署步骤将使用预测模型发布在线预测服务。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。
当托管的是自定义镜像时,填写的内容要满足自定义镜像规范,否则该镜像无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 说明: 建议写清楚模型的使用方法,方便使用者更好的完成训练、推理任务。
您可以单击代码目录后的“编辑代码”,在“OBS在线编辑”对话框中实时编辑训练脚本代码。当训练作业状态为“等待中”、“创建中”和“运行中”时,不支持“OBS在线编辑”功能。 说明: 当您使用订阅算法创建训练作业时,不支持该参数。 “启动文件” 训练作业启动文件位置。
在服务部署节点单击“实例详情”直接跳转进入在线服务详情页,或者在ModelArts管理控制台,选择“模型部署 > 在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。 在服务详情页,选择“预测”页签。
面向AI工程师,熟悉代码编写和调测,您可以使用ModelArts Standard提供的在线代码开发环境,编写训练代码进行AI模型的开发。
使用Notebook进行AI开发调试 Notebook使用场景 创建Notebook实例 通过JupyterLab在线使用Notebook实例进行AI开发 通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook
使用ModelArts Standard部署模型并推理预测 推理部署使用场景 创建模型 创建模型规范参考 将模型部署为实时推理作业 将模型部署为批量推理服务 管理ModelArts模型 管理同步在线服务 管理批量推理作业
当选择收费CPU资源部署在线服务时会收取少量资源费用,具体费用以界面信息为准。 参数配置完成后,单击“下一步”,确认规格参数后,单击“提交”启动在线服务的部署。 进入“部署上线 > 在线服务”页面,等待服务状态变为“运行中”时,表示服务部署成功。
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务