检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LlamaFactory 多模态模型 ModelArts针对以下主流的多模态模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理或训练。 表4 多模态模型基于Ascend-vLLM框架的推理 支持模型 支持模型参数量 应用场景 软件技术栈 指导文档 internVL2
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
卡死等）导致训练作业还未完成就被中断，下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。 断点续训练是通过checkpoint机制实现。 checkpoint的机制是：在模型训练的过程中，不断地保存训练结果（包括但不限于EPOCH、模型权重
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
@modelarts:color 否 String 内置属性：标签展示的颜色，为色彩的16进制代码，默认为空。例如：“#FFFFF0”。 @modelarts:default_shape 否 String 内置属性：物体检测标签的默认形状（物体检测标签专用属性），默认为空。可选值如下： bndbox：矩形。
工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 表4 Apps 参数 是否必选 参数类型 描述 app_id 否 String APP的编号，可通过查询APP列表获取。 响应参数 状态码：200 表5 响应Header参数
须有8张卡。 本文档提供的调测代码中涉及到的OBS路径，请用户替换为自己的实际OBS路径。 本文档提供的调测代码是以PyTorch为例编写的，不同的AI框架之间，整体流程是完全相同的，只需要修改个别的参数即可。 DataParallel进行单机多卡训练的优缺点 代码简单：仅需修改一行代码。
创建训练任务 登录ModelArts管理控制台，检查当前账号是否已完成访问授权的配置。如果未完成，请参考使用委托授权针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作业”，默认进入“训练作业”列表。单击“创建训练作业”进入创建训练作业页面。
数据校验：对您的数据集的数据进行校验，是否存在数据异常。 预测分析：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。 快速查找创建好的项目 在自动学习总览页，您可以通过搜索框，根据自动学习的属性类型（项
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
数据标注：对您的数据进行标注情况确认。 数据集版本发布：将已完成确认的数据进行版本发布。 数据校验：对您的数据集的数据进行校验，是否存在数据异常。 声音分类：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。
数据标注：对您的数据进行标注情况确认。 数据集版本发布：将已完成标注的数据进行版本发布。 数据校验：对您的数据集的数据进行校验，是否存在数据异常。 物体检测：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。
数据标注：对您的数据进行标注情况确认。 数据集版本发布：将已完成确认的数据进行版本发布。 数据校验：对您的数据集的数据进行校验，是否存在数据异常。 文本分类：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。
配置ModelArts委托授权章节中介绍的一键式自动授权方式创建的委托的权限比较大，基本覆盖了依赖服务的全部权限。如果华为云账号已经能满足您的要求，则不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用MaaS服务的功能。 ModelArts作为一个完备的AI开发平台，支持用户对其进行细粒度的权限配置，
enable_lora=True表示开启multi-lora的精度验证。如果不开启multi-lora的精度验证，不体现enable_lora参数即可。 lora_local_path=${lora_local_path}是挂载适配器对应路径，取值和multi-lora特性使用说明中的参数lora1=/path/
6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite k8s Cluster。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 支持的模型列表和权重文件 本方案支持vLLM的v0.6
Notebook使用涉及到计费，具体收费项如下： 处于“运行中”状态的Notebook，会消耗资源，产生费用。根据您选择的资源不同，收费标准不同，价格详情请参见产品价格详情。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。 创建Notebook时，如果选择使用云硬盘
标注团队成员ID。 workforce_id 是 String 标注团队ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 标注成员描述，长度为0-256位，不能包含^!<>=&"'特殊字符。 role 否 Integer 角色。可选值如下：
数据标注：对您的数据标注情况进行确认。 数据集版本发布：将已完成标注的数据进行版本发布。 数据校验：对您的数据集的数据进行校验，是否存在数据异常。 图像分类：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。
total_count Integer 不分页的情况下，符合查询条件的总服务数量。 count Integer 当前查询结果的服务数量，不设置offset、limit查询参数时，count与total相同。 services service结构数组 查询到的服务集合。 表3 service结构
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
