正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Standard模型部署 ModelArts Standard提供模型、服务管理能力,支持多厂商多框架多功能的镜像和模型统一纳管。 通常AI模型部署和规模化落地非常复杂。 例如,智慧交通项目中,在获得训练好的模型后,需要部署到云、边、端多种场景。如果在端侧部署,需要一次性部署到不
模型管理权限 表1 模型管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 导入模型 POST /v1/{project_id}/models modelarts:model:create obs:bucket:ListAllMybuckets o
模型配置文件编写说明 模型开发者发布模型时需要编写配置文件config.json。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。 配置文件格式说明 配置文件为JSON格式,参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 描述
Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力,负责建立和管理机器学习训练工作负载所需的基础设施,减轻用户的负担,为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练,用户可以专注于开发、训练和微调模型。
PI调用)。 管理员新创建的用户在没有配置细粒度授权策略时,默认具有ModelArts所有权限。如果需要控制用户的详细权限,管理员可以通过IAM为用户组配置细粒度授权策略,使用户获得策略定义的权限,操作对应云服务的资源。基于策略授权时,管理员可以按ModelArts的资源类型选择
model_path) 初始化方法,适用于深度学习框架模型。该方法内加载模型及标签等(pytorch和caffe类型模型必须重写,实现模型加载逻辑)。 __init__(self, model_path) 初始化方法,适用于机器学习框架模型。该方法内初始化模型的路径(self.model_path
件。 模型文件:在不同模型包结构中模型文件的要求不同,具体请参见模型包结构示例。 模型配置文件:模型配置文件必须存在,文件名固定为“config.json”,有且只有一个,模型配置文件编写请参见模型配置文件编写说明。 模型推理代码文件:模型推理代码文件是必选的。文件名固定为“customize_service
Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型广场”进入模型广场。 选择模型,单击“立即使用”进入模型详情页。在模型详情页可以查看模型的详细介绍。 模型介绍 表1列举了ModelArts Studio大模型即服务平台支持的模型清单,模型详细信息请查看界面介绍。
自动学习功能可以根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型,不需要代码编写和模型开发经验。只需三步,标注数据、自动训练、部署模型,即可完成模型构建。 端-边-云 端-边-云分别指端侧设备、智能边缘设备、公有云。 推理 指按某种策略由已知判断推出新判断的思维过程。
导入模型时,模型配置文件中的安装包依赖参数如何编写? 问题描述 从OBS中或者从容器镜像中导入模型时,开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。配置文件中的“dependencies
模型包规范 模型包规范介绍 模型配置文件编写说明 模型推理代码编写说明 父主题: 推理规范说明
模型配置文件编写说明 模型开发者发布模型时需要编写配置文件config.json。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。 配置文件格式说明 配置文件为JSON格式,参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 描述
Gallery订阅应用”,跳转至“AI Gallery”模型列表,选择模型进行订阅。订阅模型的操作指导请参见买家指导(订阅模型)。 “自定义应用”列表,单击“AI Gallery订阅应用”,跳转至“AI Gallery”模型列表,选择模型进行订阅。 将订阅模型部署为服务 针对订阅应用模型,支持将模型一键部署为服务。
步骤2:订阅模型 “商超商品识别”的模型共享在AI Gallery中。您可以前往AI Gallery,免费订阅此模型。 单击案例链接商超商品识别,进入模型详情页。 完成模型订阅。 在模型详情页,单击“订阅”,阅读并勾选同意《数据安全与隐私风险承担条款》 和 《华为云AI Gall
ery > 我的资产 > 模型”,进入“我的模型”页面。 选择“我的订阅”页签,进入个人订阅的模型列表。 在模型列表选择需要推送的模型,单击“应用控制台”列的服务名称将模型推送至不同应用控制台。 图2 选择应用控制台 如果订阅的是ModelArts模型,在弹出的“选择云服务区域”
模型训练计费项 计费说明 在ModelArts进行模型训练时,会产生计算资源和存储资源的累计值计费。计算资源为训练作业运行的费用。存储资源包括数据存储到OBS或SFS的费用。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。
习产生的模型都是以“exeML-”开头的。单击模型名称进入模型详情页面,在“基本信息”区域,获取“ID”的值。 图1 获取模型ID 获取模型事件信息。 进入模型详情页面后,单击“事件”页签,将事件信息表截图后反馈给技术支持人员。 图2 获取事件信息 父主题: 模型发布
模型NPU卡数取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推 表1 模型NPU卡数取值表 支持模型 支持模型参数量 文本序列长度 训练类型 Zero并行 规格与节点数 llama3 70B cutoff_len=4096
使用所选规格部署服务时,会产生必要的系统消耗,因此服务实际占用的资源会略大于该规格。 “计算节点个数” 设置当前版本AI应用的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 “环境变量” 设置环境变量,注入环境变量到
入输出格式,用户需根据模型功能或业务场景重新选择新的输入输出模式来覆盖内置的未定义模式,如图像分类模型应选择预置图像处理模式,而目标检测模型则应选择预置物体检测模式。 使用未定义模式的模型将无法部署批量服务。 如何使用模板 您需要先将模型包上传至OBS。模型文件应存放在model