检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
W8A8量化 什么是W8A8量化 W8A8量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。 约束限制 支持SmoothQuant（W8A8）量化的模型列表请参见支持的模型列表。 激活量化支持动态per-token和静态per-tensor，支持非对称量化。
传统的微调方法，LoRA不仅能大幅减少所需的训练参数，还降低了显存和计算成本，加快了模型微调速度。对于VLLM来说，使用LoRA进行多任务部署具有以下优势： 资源节省：在大模型中引入LoRA，可以减少模型需要更新的参数量，从而节省NPU内存并提高推理速度。 轻量化适配：无需改变原
otebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm
otebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm
方式来部署训练环境。可以在ECS中，通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。在构建镜像的过程中会下载完整的模型代码、执行环境，然后自动进行NPU适配，并将以上源码和环境打包至镜像中。 ECS需要连通公网，否则会导致安装下载源码、安装环境依赖
方式来部署训练环境。可以在ECS中，通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。在构建镜像的过程中会下载完整的模型代码、执行环境，然后自动进行NPU适配，并将以上源码和环境打包至镜像中。 ECS需要连通公网，否则会导致安装下载源码、安装环境依赖
工作空间 ModelArts的用户需要为不同的业务目标开发算法、管理和部署模型，此时可以创建多个工作空间，把不同应用开发过程的输出内容划分到不同工作空间中，便于管理和使用。 工作空间支持3种访问控制： PUBLIC：租户（主账号和所有子账号）内部公开访问。 PRIVATE：仅创建者和主账号可访问。
/home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q awq 或者--quantization
/home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q awq 或者--quantization
登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum
该案例介绍了华为云一站式开发平台ModelArts的自动学习功能实现的常见生活垃圾分类，让您不用编写代码也可以实现生活垃圾分类。 本案例只适用于新版自动学习功能。 步骤一：准备工作 注册华为账号并开通华为云、实名认证 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 Mo
该案例介绍了华为云一站式开发平台ModelArts的自动学习功能实现的常见生活垃圾分类，让您不用编写代码也可以实现生活垃圾分类。 本案例只适用于新版自动学习功能。 步骤一：准备工作 注册华为账号并开通华为云、实名认证 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 Mo
登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum
登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum
登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum
使用自动学习实现图像分类 准备图像分类数据 创建图像分类项目 标注图像分类数据 训练图像分类模型 部署图像分类服务 父主题： 使用自动学习实现零代码AI开发
数据标注 ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后，其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 Standard AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。
ModelArts Studio大模型即服务平台已预置非量化模型与AWQ-W4A16量化模型的模型模板。 非量化模型可以支持调优、压缩、部署等操作。 量化模型仅支持部署操作。当需要获取SmoothQuant-W8A8量化模型时，则可以通过对非量化模型进行模型压缩获取。
登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum
以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
