检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
预置框架启动文件的启动流程说明 ModelArts Standard训练服务预置了多种AI框架,并对不同的框架提供了针对性适配,用户在使用这些预置框架进行模型训练时,训练的启动命令也需要做相应适配。 本章节详细介绍基于不同的预置框架创建训练作业时,如何修改训练的启动文件。 Asc
SD3 Diffusers框架基于DevServer适配PyTorch NPU推理指导(6.3.907) Stable Diffusion(简称SD)是一种基于扩散过程的图像生成模型,应用于文生图场景,能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite
专属资源池驱动检查 登录ModelArts控制台,单击“专属资源池 > 弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23
SD3 Diffusers框架基于DevServer适配PyTorch NPU推理指导(6.3.912) Stable Diffusion(简称SD)是一种基于扩散过程的图像生成模型,应用于文生图场景,能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite
用CPU计算的业务功能说明和并发机制。 - 是否有Linux内核驱动 是否有业务相关的Linux内核驱动代码。 - 依赖第三方组件列表 当前业务依赖的第三方软件列表(自行编译的第三方软件列表)。 例如:Faiss等。 - 推理框架 TensorRT/Triton/MSLite等。
专属资源池驱动检查 登录ModelArts控制台,单击“专属资源池 > 弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23
专属资源池驱动检查 登录ModelArts控制台,单击“专属资源池 > 弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23
专属资源池驱动检查 登录ModelArts控制台,单击“专属资源池 > 弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23
A系列裸金属服务器上测试RoCE性能带宽。 前提条件 GPU A系列裸金属服务器已经安装了IB驱动。(网卡设备名称可以使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20.04操作系统默认已经安装IB驱动。) 操作步骤 方法1:使用mlx硬件计数器,估算ROCE网卡收发流量
0-144-generic 架构类型 x86 驱动版本 525.105.17 cuda 12.0 container-toolkit 1.13.3-1 fabricmanager 525.105.17 mlnx-ofed-linux 5.8-2.0.3.1-ubuntu20.04-x86_64
请参考创建Notebook实例。 实例的密钥文件已经下载至本地的如下目录或其子目录中: Windows:C:\Users\{{user}} Mac/Linux: Users/{{user}} VS Code连接Notebook 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 >
0 cann_8.0.rc3 pytorch_2.1.0 驱动23.0.6 从SWR拉取 不同软件版本对应的基础镜像地址不同,请严格按照软件版本和镜像配套关系获取基础镜像。 父主题: SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导(6
cann_8.0.rc3 pytorch_2.1.0 驱动23.0.6 从SWR拉取 不同软件版本对应的基础镜像地址不同,请严格按照软件版本和镜像配套关系获取基础镜像。 父主题: SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导(6
开发用于预置框架训练的代码 当您使用ModelArts Standard提供的预置框架创建算法时,您需要提前完成算法的代码开发。本章详细介绍如何改造本地代码以适配ModelArts上的训练。 创建算法时,您需要在创建页面提供代码目录路径、代码目录路径中的启动文件、训练输入路径参数
以PyTorch框架创建训练作业(新版训练) 本节通过调用一系列API,以训练模型为例介绍ModelArts API的使用流程。 概述 使用PyTorch框架创建训练作业的流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调
获取训练作业支持的AI预置框架 功能介绍 获取训练作业支持的AI预置框架。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/
训练时默认不需要加此环境变量,仅当发现驱动版本不够时才使用此方法。 专属池驱动版本如何升级? 当专属资源池中的节点含有GPU/Ascend资源时,用户基于自己的业务,可能会有自定义GPU/Ascend驱动的需求,ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力,具体操作请参见资源池驱动升级。
使用预置框架构建自定义镜像原理介绍 如果先前基于预置框架且通过指定代码目录和启动文件的方式来创建的训练作业;但是随着业务逻辑的逐渐复杂,您期望可以基于预置框架修改或增加一些软件依赖的时候,可以使用预置框架构建自定义镜像,即在创建训练作业页面选择预置框架名称后,在预置框架版本下拉列表中选择“自定义”。
在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
原因分析二:当操作系统为macOS/Linux时,可能是密钥文件或放置密钥的文件夹权限问题,请参考解决方法二处理。 解决方法 解决方法一: 请将密钥放在如下路径或其子路径下: Windows:C:\Users\{{user}} macOS/Linux: Users/{{user}} 解决方法二: