检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保存ckpt时超时报错 在多节点集群训练完成后,只有部分节点会保存权重,而其他节点会一直在等待通信。当等待时间超过36分钟时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40
64 68 qwen-vl-chat 1 64 1 64 69 MiniCPM-v2 2 16 1 16 “-”表示不支持。 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.911)
链接,即可跳转至相应文档查看详细指导。 LLM大语言模型 主流开源大模型基于Server适配PyTorch NPU推理指导 主流开源大模型基于Server适配ModelLink PyTorch NPU训练指导 主流开源大模型基于Server适配LlamaFactory PyTorch
不同Region支持的AI引擎不一样,请以控制台实际界面为准。 亮点特性4:提供在线的交互式开发调试工具JupyterLab ModelArts集成了基于开源的JupyterLab,可为您提供在线的交互式开发调试。您无需关注安装配置,在ModelArts管理控制台直接使用Notebook,编写和
进入“JupyterLab”页面。 图1所示图标,为JupyterLab的Git插件。 图1 Git插件 克隆GitHub的开源代码仓库 GitHub开源仓库地址:https://github.com/jupyterlab/extension-examplesitHub,单击,输
使用AI Gallery SDK构建自定义模型 AI Gallery的Transformers库支持部分开源的模型结构框架,并对昇腾系列显卡进行了训练/推理性能优化,可以做到开箱即用。如果你有自己从头进行预训练的模型,AI Gallery也支持使用SDK构建自定义模型接入AI Gallery。
使用ModelArts Standard一键完成商超商品识别模型部署 ModelArts的AI Gallery中提供了大量免费的模型供用户一键部署,进行AI体验学习。 本文以“商超商品识别”模型为例,完成从AI Gallery订阅模型,到ModelArts一键部署为在线服务的免费体验过程。
资产识别与管理 资产识别 用户在AI Gallery中的资产包括用户发布的AI资产以及用户提供的一些个人信息。 AI资产包括但不限于文本、图形、数据、文章、照片、图像、插图、代码、AI算法、AI模型等。 用户的个人信息包括: 用户注册时提供的昵称、头像、邮箱。 用户参加实践时提供的姓名、手机号、邮箱。
使用ModelArts Standard一键完成商超商品识别模型部署 ModelArts的AI Gallery中提供了大量免费的模型供用户一键部署,进行AI体验学习。 本文以“商超商品识别”模型为例,完成从AI Gallery订阅模型,到ModelArts一键部署为在线服务的免费体验过程。
AI Gallery功能介绍 面向开发者提供了AI Gallery大模型开源社区,通过大模型为用户提供服务,普及大模型行业。AI Gallery提供了大量基于昇腾云底座适配的三方开源大模型,同步提供了可以快速体验模型的能力、极致的开发体验,助力开发者快速了解并学习大模型。 构建零
用于生成专属模型的模型权重文件需要满足Hugging Face上的对应模型的文件格式要求。 模型权重文件夹下包括权重类文件、词表类文件和配置类文件。 可以使用transformers的from_pretrained方法对模型权重文件夹进行加载。 具体请参见Hugging Face官方文档Documentations。
日志提示“No module name 'unidecode'” 问题现象 从mindspore开源gitee中master分支下载的tacotron2模型,修改配置文件后上传ModelArts准备训练,日志报错提示:No module name 'unidecode'。 原因分析
使用OBS客户端上传文件的操作指导:上传文件 方法一:在Notebook中通过Moxing上传下载OBS文件 MoXing是ModelArts自研的分布式训练加速框架,构建于开源的深度学习引擎TensorFlow、PyTorch等之上,使用MoXing API可让模型代码的编写更加简单、高效。 MoXing提供了一
使用Prometheus查看Lite Cluster监控指标 Prometheus是一款开源监控工具,ModelArts支持Exporter功能,方便用户使用Prometheus等第三方监控系统获取ModelArts采集到的指标数据。 本章节主要介绍如何通过Prometheus查看Lite
在模型广场查看模型 在模型广场页面,ModelArts Studio大模型即服务平台提供了丰富的开源大模型,在模型详情页可以查看模型的详细介绍,根据这些信息选择合适的模型进行训练、推理,接入到企业解决方案中。 访问模型广场 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts
ModelLink LLaMAFactory 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导 主流开源大模型基于Standard+OBS适配PyTorch
础指标,也支持用户自定义一些指标项上报到AOM查看。 此外,还支持在ModelArts Lite Cluster上安装Prometheus开源监控工具,方便用户使用Prometheus工具在Lite Cluster集群内直接采集监控指标数据,具体参见使用Prometheus查看Lite
方式一(推荐使用):在创建我的算法时,需要在“代码目录”下放置相应的文件或安装包。 请根据依赖包的类型,在代码目录下放置对应文件: 依赖包为开源安装包时 在“代码目录”中创建一个命名为“pip-requirements.txt”的文件,并且在文件中写明依赖包的包名及其版本号,格式为“包名==版本号”。
场景 说明 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导 预训练、SFT全参微调训练、LoRA微调训练 介绍主流的开源大模型Llama系
训练迁移快速入门案例 本篇指导是迁移的总体思路介绍,便于用户对迁移过程有一个整体的认识。如果您希望通过具体案例直接实操,请参考《主流开源大模型基于DevServer适配PyTorch NPU训练指导》。该案例以ChatGLM-6B为例,介绍如何将模型迁移至昇腾设备上训练、模型精度对齐以及性能调优。