检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除镜像 功能介绍 删除镜像对象，对于个人私有镜像可以通过参数一并删除SWR镜像内容。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备ascend_vllm代码包、模型权重文件、推理启动脚本run_vllm.sh
annotations Map<String,String> 训练作业申明模板，异构作业job_template字段默认为Template RL，其余默认为Template DL。
SDXL&SD1.5 WebUI基于Lite Cluster适配NPU推理指导（6.3.906） 本文档主要介绍如何在ModelArts Lite的Cluster环境中部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 方案概览 本方案介绍了在ModelArts
示例：从 0 到 1 制作自定义镜像并用于训练（Pytorch+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是PyTorch，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用
GP Vnt1裸金属服务器用PyTorch报错CUDA initialization:CUDA unknown error 问题现象 在Vnt1 GPU裸金属服务器（Ubuntu18.04系统），安装NVIDIA 470+CUDA 11.4后使用“nvidia-smi”和“nvcc
从0制作自定义镜像用于创建训练作业（PyTorch+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是PyTorch，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli
通过运行的实例保存成容器镜像 功能介绍 运行的实例可以保存成容器镜像，保存的镜像中，安装的依赖包（pip包）不丢失，VS Code远程开发场景下，在Server端安装的插件不丢失。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer
LLaVA模型基于DevServer适配PyTorch NPU推理指导（6.3.906） LLaVA是一种新颖的端到端训练的大型多模态模型，它结合了视觉编码器和Vicuna，用于通用的视觉和语言理解，实现了令人印象深刻的聊天能力，在科学问答（Science QA）上达到了新的高度。
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。
基于MindSpore Lite的模型转换 迁移推理业务的整体流程如下： 模型准备 转换关键参数准备 模型转换 推理应用适配 主要通过MindSpore Lite（简称MSLite）进行模型的转换，进一步通过MindSpore Runtime支持昇腾后端的能力来将推理业务运行到昇腾设备上
AIGC模型训练推理 FlUX.1基于DevServer适配PyTorch NPU推理指导（6.3.911） FLUX.1基于DevSever适配PyTorch NPUFintune&Lora训练指导（6.3.911） Llama 3.2-Vision基于DevServer适配Pytorch
使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingface
使用ModelArts VSCode插件调试训练ResNet50图像分类模型 应用场景 Notebook等线上开发工具工程化开发体验不如IDE，但是本地开发服务器等资源有限，运行和调试环境大多使用团队公共搭建的CPU或GPU服务器，并且是多人共用，这带来一定的环境搭建和维护成本。因此使用本地
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用SmoothQuant量化工具转换权重 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
