检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用pandas库处理OBS桶中的数据？ 参考下载OBS文件到Notebook中的指导，将OBS中的数据下载至Notebook本地处理。 参考pandas用户指南处理pandas数据。 父主题： 数据存储
需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。DWS的详细功能说明，请参考DWS用户指南。 图1 从DWS导入数据 集群名称：系统自动将当前账号下的DWS集群展现在列表中，您可以在下拉框中选择您所需的DWS集群。 数据库名称：根据
kv-cache-int8量化支持的模型请参见表1。 本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运
CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运
本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc
本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc
rc2 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像（二选一）、ECS中构建新镜像（二选一）的方式（二选一）来部署训练环境。方案的区别如下： 使用基础镜像（二选一）：用户可在训练作业中直接选择
已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 配置委托访问授权 ModelArts使用过程中涉及到OBS、SWR、IEF等服务交互，首次使用ModelArts需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录ModelA
型列表和权重文件。 本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NV
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化
https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 1、在容器中使用ma-user用户， vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。
CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运
CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运
CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运
CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运
CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运
CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运
PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像、Notebook中构建新镜像的方式（三选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择
kv-cache-int8量化支持的模型请参见表3。 Step1使用tensorRT量化工具进行模型量化，必须在GPU环境 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
