检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认为1。 service_name:服务名称,保存评测结果时创建目录,示例为:qwen-14b-test。 eval_dataset:评测使用的评测集(枚举值),目前仅支持mmlu、ceval。 service_url:服务接口地址,若服务部署在notebook中,该地址为"http://127
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
数据校验:对您的数据集的数据进行校验,是否存在数据异常。 预测分析:将发布好的数据集版本进行训练,生成对应的模型。 模型注册:将训练后的结果注册到模型管理中。 服务部署:将生成的模型部署为在线服务。 快速查找创建好的项目 在自动学习总览页,您可以通过搜索框,根据自动学习的属性类型(项目名称)快速搜索过滤到相应的工作流,可节省您的时间。
期和保留期。 图1 包年/包月资源生命周期 到期预警 包年/包月资源池在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月资源池到期未续费,首先会进入宽限期,资源状态变为“已过期”。宽限期内
表1 批量服务参数 参数 说明 名称 批量服务名称。 服务ID 批量服务的ID。 状态 批量服务当前状态。 任务ID 批量服务的任务ID。 实例规格 批量服务的节点规格。 实例数 批量服务的节点个数。 任务开始时间 本次批量服务的任务开始时间。 环境变量 批量服务创建时填写的环境变量。
步骤六:预测分析 运行完成的工作流会自动部署相应的在线服务,您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”或者在ModelArts管理控制台,选择“模型部署 > 在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。 在服务详情页,单击选择“预测”页签。
步骤六:预测分析 运行完成的工作流会自动部署相应的在线服务,您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”或者在ModelArts管理控制台,选择“模型部署 > 在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。 在服务详情页,单击选择“预测”页签。
产品优势 ModelArts服务具有以下产品优势。 稳定安全的算力底座,极快至简的模型训练 支持万节点计算集群管理 大规模分布式训练能力,加速大模型研发 提供高性价比国产算力 多年软硬件经验沉淀,AI场景极致优化 加速套件,训练、推理、数据访问多维度加速 一站式端到端生产工具链,一致性开发体验
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换AI应用的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
Notebook”,单击“创建”,在创建Notebook页面,资源池规格只能选择专属资源池。 使用子账号用户登录ModelArts控制台,选择“模型部署 > 在线服务”,单击“部署”,在部署服务页面,资源池规格只能选择专属资源池。 父主题: 典型场景配置实践
提供交互式云上开发环境,包含标准化昇腾算力资源和完整的迁移工具链,帮助用户完成昇腾迁移的调测过程,进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务,或者运行到自己的运行环境中。 MindSpore Lite 华为自研的AI推理引擎,后端对于昇腾有充分的适配,模型转
仍会在运行到时停止,不会自动执行。 服务配置 消息通知 订阅消息使用消息通知服务,在事件列表中选择需要监控的节点或者Workflow状态,在事件发生时发送消息通知。 说明: 打开开关后,需要先指定SMN主题名,如未创建主题名,需前往消息通知服务创建主题。 支持对Workflow中
构建零门槛线上模型体验,零基础开发者开箱即用,初学者三行代码使用所有模型 通过AI Gallery的AI应用在线模型体验,可以实现模型服务的即时可用性,开发者无需经历繁琐的环境配置步骤,即可直观感受模型效果,快速尝鲜大模型,真正达到“即时接入,即时体验”的效果。 当开发者对希望对模型进行开发和训练,AI
PyTorch、TensorFlow和MindSpore等引擎的AI模型。 支持通过JupyterLab工具在线打开Notebook,具体请参见通过JupyterLab在线使用Notebook实例进行AI开发。 支持本地IDE的方式开发模型,通过开启SSH连接,用户本地IDE可以
ModelArts Standard数据管理支持多维度数据管理能力 数据集管理:提供数据集创建、数据预览、数据集版本管理等能力 数据标注:提供在线标注能力,包含图像分类、目标检测、音频分割、文本三元组等标注场景;提供图片智能标注方案,提升标注效率;提供团队标注能力,支持多人协同标注与标注任务的审核验收
像无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 说明: 建议写清楚模型的使用方法,方便使用者更好的完成训练、推理任务。 表2 任务类型支持的AI Gallery工具链服务 任务类型 微调大师 在线推理服务 AI应用 文本问答/文本生成 支持 支持 支持 其他类型
本案例在Notebook上部署推理服务进行调试,因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。
“代码目录” 训练作业代码目录所在的OBS路径。 您可以单击代码目录后的“编辑代码”,在“OBS在线编辑”对话框中实时编辑训练脚本代码。当训练作业状态为“等待中”、“创建中”和“运行中”时,不支持“OBS在线编辑”功能。 说明: 当您使用订阅算法创建训练作业时,不支持该参数。 “启动文件” 训练作业启动文件位置。
from modelarts.estimatorV2 import Estimator session = Session() #训练脚本里接收的参数,请根据实际情况填写 parameters = [{"name": "mod", "value":"gpu"},
SWR OperateAccess 必选 CES云监控 授予子用户使用CES云监控服务的权限。通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况,并设置监控告警。 CES FullAccess 必选 SMN消息服务 授予子用户使用SMN消息服务的