检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
te Cluster资源池 升级Lite Cluster资源池驱动操作请参见升级Lite Cluster资源池驱动 升级Lite Cluster资源池单个节点驱动操作请参见升级Lite Cluster资源池单个节点驱动 父主题: Lite Cluster资源管理
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成本方案
diffusers_sdxl_controlnet_train.sh 训练执行成功如下图所示。 图1 训练执行成功 父主题: SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导(6.3.908)
所有数据保存在auto_log/avg_step_time.txt文本中 auto_log/log/目录下存放各个shapes的数据 父主题: SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导(6.3.908)
ep_time.txt文本中 autoxl_log/log/目录下存放各个shapes的数据。 父主题: SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导(6.3.908)
SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导(6.3.908) 训练场景和方案介绍 准备镜像环境 Finetune训练 LoRA训练 Controlnet训练 父主题: AIGC模型训练推理
Code安装指导如下: 图2 Windows系统下VS Code安装指导 Linux系统下,执行命令sudo dpkg -i code_1.85.2-1705561292_amd64.deb安装。 Linux系统用户,需要在非root用户进行VS Code安装。 父主题: 通过VS
"software|firmware" #查看驱动和固件版本 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker
releases/download/v1.7.6/nerdctl-1.7.6-linux-arm64.tar.gz # 将程序解压至运行目录中 tar -zxf nerdctl-1.7.6-linux-arm64.tar.gz -C /usr/bin/ # 查看是否安装成功 nerdctl
releases/download/v1.7.6/nerdctl-1.7.6-linux-arm64.tar.gz # 将程序解压至运行目录中 tar -zxf nerdctl-1.7.6-linux-arm64.tar.gz -C /usr/bin/ # 查看是否安装成功 nerdctl
releases/download/v1.7.6/nerdctl-1.7.6-linux-arm64.tar.gz # 将程序解压至运行目录中 tar -zxf nerdctl-1.7.6-linux-arm64.tar.gz -C /usr/bin/ # 查看是否安装成功 nerdctl
l-tests直接删除即可。 从内核中卸载nvidia相关的所有进程。 在安装nvidia驱动时,必须把内核中加载nvidia相关的进程卸载,否则会失败。具体操作请参考卸载nvidia驱动。 若遇到加载到内核的nvidia进程循环依赖,无法从内核中卸载nvidia,此时执行reboot命令重启服务器即可。
Miniconda3-py39_24.5.0-0-Linux-aarch64.sh /tmp # https://conda.io/projects/conda/en/latest/user-guide/install/linux.html#installing-on-linux # 安装 Miniconda3
使用Gallery CLI配置工具上传文件 在服务器(ModelArts Lite云服务器或者是本地Windows/Linux等服务器)上登录Gallery CLI配置工具后,通过命令“gallery-cli upload”可以往AI Gallery仓库上传资产。 命令说明 登录Gallery
diffusers_sdxl_lora_train.sh 训练执行成功如下图所示。 图1 训练执行成功 父主题: SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导(6.3.908)
使用Gallery CLI配置工具下载文件 在服务器(ModelArts Lite云服务器或者是本地Windows/Linux等服务器)上登录Gallery CLI配置工具后,通过命令“gallery-cli download”可以从AI Gallery仓库下载资源。 命令说明 登录Gallery
es/download/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz 进入容器,执行安装git lfs命令。 cd /home/ma-user tar -zxvf git-lfs-linux-arm64-v3.2.0.tar.gz cd git-lfs-3
"software|firmware" #查看驱动和固件版本 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 若本地为Linux系统,见原因分析二。 原因分析一 自动安装VS Code插件ModelArts-HuaweiCloud失败。 解决方法一 方法一:检查VS Code网络是否正常。在VS
优点:可快速、低成本地搭建环境,使用标准化容器镜像,官方notebook示例可直接运行。 缺点:由于是容器化环境因此不如裸机方式灵活,例如不支持root权限操作、驱动更新等。 环境开通指导参考:Notebook环境创建。 样例演示可参考Notebook样例:Stable Diffusion模型迁移到Ascend上进行推理。