检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
#tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── llama2-13b-hf |── models #原始权重与tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── llama2-13b-hf
Turbo中。 本地上传权重文件至SFS Turbo 通过以下两种方式将下载到本地的模型文件上传至SFS Turbo中。方式一操作简单，但是数据传输速度比较慢，费时间。方式二操作相对方式一复杂一些，但是数据传输速度较快。 方式一：将已下载的模型文件通过SSH直接上传至SFS Turbo中。具体步骤如下：
W8A16量化支持的模型请参见支持的模型列表。 步骤一：量化模型权重 在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重。 具体操作如下： 开始之前，请确保安装了以下库： pip install auto-gptq pip install --upgrade accelerate
#tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── llama2-13b-hf |── models #原始权重与tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── llama2-13b-hf
#tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── llama2-13b-hf |── models #原始权重与tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── llama2-13b-hf
Turbo中。 本地上传权重文件至SFS Turbo 通过以下两种方式将下载到本地的模型文件上传至SFS Turbo中。方式一操作简单，但是数据传输速度比较慢，费时间。方式二操作相对方式一复杂一些，但是数据传输速度较快。 方式一：将已下载的模型文件通过SSH直接上传至SFS Turbo中。具体步骤如下：
Turbo中。 本地上传权重文件至SFS Turbo 通过以下两种方式将下载到本地的模型文件上传至SFS Turbo中。方式一操作简单，但是数据传输速度比较慢，费时间。方式二操作相对方式一复杂一些，但是数据传输速度较快。 方式一：将已下载的模型文件通过SSH直接上传至SFS Turbo中。具体步骤如下：
Turbo中。 本地上传权重文件至SFS Turbo 通过以下两种方式将下载到本地的模型文件上传至SFS Turbo中。方式一操作简单，但是数据传输速度比较慢，费时间。方式二操作相对方式一复杂一些，但是数据传输速度较快。 方式一：将已下载的模型文件通过SSH直接上传至SFS Turbo中。具体步骤如下：
进行导包： import os os.sysytem('pip install torch') import torch 父主题： OBS操作相关故障
Turbo中。 本地上传权重文件至SFS Turbo 通过以下两种方式将下载到本地的模型文件上传至SFS Turbo中。方式一操作简单，但是数据传输速度比较慢，费时间。方式二操作相对方式一复杂一些，但是数据传输速度较快。 方式一：将已下载的模型文件通过SSH直接上传至SFS Turbo中。具体步骤如下：
Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。 镜像选择已注册的自定义镜像，资源类型选择创建好的专属资源池，规格推荐选择“Ascend:
Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 Step1 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。 镜像选择已注册的自定义镜像，资源类型选择创建好的专属资源池，资源规格推荐选择“Ascend:
基于昇腾、Dockerhub官网等官方开源的镜像制作，开源镜像需要满足如下操作系统约束： x86：Ubuntu18.04、Ubuntu20.04 ARM：Euler2.8.3、Euler2.10.7 Ubuntu20.04.6可能有兼容性问题，请优先使用低于该版本的操作系统。 不满足以上镜像规范，所制作的镜像使
#tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── llama2-13B-chat-hf |── model #原始权重与tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── llama2-13B-chat-hf
行接收即可，参考如下图操作。 图1 共享镜像 切换操作系统。 对Lite Server资源对应的裸金属服务器，对其进行关机操作，完成关机后，才可以执行切换操作系统动作。 在裸金属服务的更多选项中，单击切换操作系统，如下图所示。 图2 切换操作系统 在切换操作系统界面，选择上一步接收到的共享镜像即可。
本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库： pip install auto-gptq pip install --upgrade accelerate
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
