检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910） 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
准备工作 准备环境 准备代码 准备数据 准备镜像环境 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
不同模型推荐的参数与NPU卡数设置 表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gr
训练脚本说明 训练脚本存放目录说明 不同模型推荐的参数与NPU卡数设置 训练tokenizer文件说明 父主题： Qwen-VL模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.912）
文生视频模型训练推理 CogVideoX1.5 5b模型基于Lite Server适配PyTorch NPU全量训练指导（6.3.912） CogVideoX模型基于Lite Server适配PyTorch NPU全量训练指导（6.3.911） Open-Sora1.2基于Lite
准不同，价格详情请参见产品价格详情。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。 创建Notebook时，如果选择使用云硬盘EVS存储配置，实例不删除，云硬盘EVS会一直收费，建议及时停止并删除Notebook，避免产品不必要的费用。 在创建
推送免费模型 如果订阅的是HiLens技能，在弹出的“选择云服务区域”页面选择HiLens所在的云服务区域，单击“确定”跳转至HiLens控制台的“产品订购 > 订单管理 > AI Gallery”页面。该HiLens技能自动同步至HiLens。 方式二：从“我的Gallery”进入管理控制台
unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表9 Npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。
allocatable_cpu_cores Float 可使用的CPU核数。 product_id String 产品ID，仅当集群为包周期类型时返回。 allocatable_gpus Float 可使用的GPU核数。 order_id String 购买产品的订单ID，仅当集群为包周期类型时返回。 period_type
另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
如何查看ModelArts消费详情？ 在“费用中心”，您可以根据需求按照账期、产品类型等查询ModelArts的消费详情。本章节以查询“账单详情”为例指导您查看计费情况，如需了解更多的账单情况，请参见查看费用账单。 查询方法： 单击右上方的“费用中心 > 费用账单”进入费用中心详情页面，在左侧导航栏选择“账单管理
在左侧服务列表中，单击“网络 > 弹性公网IP EIP”，进入弹性公网IP页面。 单击“购买弹性公网IP”。 参数配置可使用默认值，单击“立即购买”。 在产品配置信息确认页面，再次核对弹性公网IP信息，阅读并勾选“弹性公网IP服务声明”。 选择按需计费的弹性公网IP时，单击“提交”。 选择包年/
在ModelArts中同一个账户，图片展示角度不同是为什么？ 有的图片存在旋转角度等属性，不同的浏览器的处理策略不同，对浏览器的兼容性如表1和表2所示。 L代表last，L3-产品版本上线时最新的3个稳定浏览器版本。 如果您当前使用的浏览器版本过低，将在一定程度上影响页面的显示效果，系统会提示您尽快对浏览器进行升级。
另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
AI框架版本升级，使用了新版本算子。 例如：每半年对模型进行一次变更，变更的内容包含模型结构，并升级AI框架。 - 是否使用华为MDC产品 如果使用华为MDC产品，请填写MDC版本号，如果没有可以不填。 例如：使用了C83版本。 - 性能指标与预期 例1： 模型：YOLOv5 运行环境：Vnt1
分布式训练功能介绍 ModelArts提供了如下能力： 丰富的官方预置镜像，满足用户的需求。 支持基于预置镜像自定义制作专属开发环境，并保存使用。 丰富的教程，帮助用户快速适配分布式训练，使用分布式训练极大减少训练时间。 分布式训练调测的能力，可在PyCharm/VSCode/J
unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表39 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。
unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表39 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。
AI框架版本升级，使用了新版本算子。 例如：每半年对模型进行一次变更，变更的内容包含模型结构，并升级AI框架。 - 是否使用华为MDC产品 如果使用华为MDC产品，请填写MDC版本号，如果没有可以不填。 例如：使用了C83版本。 - 性能指标与预期 例1： 模型：YOLOv5 运行环境：Vnt1
鼠标移动至节点名称上，复制需要退订的实例ID。 图3 复制实例ID Server购买订单里绑定的资源ID为Server ID，与Server产品所封装的BMS/ECS ID不同，若要退订Server，需要在ModelArts控制台的“资源管理 > AI专属资源池 > 弹性节点Server”中查询对应ID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
