检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建标注团队 功能介绍 创建标注团队。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workforces 表1 路径参数
示例：创建DDP分布式训练（PyTorch+GPU） 本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例。 使用PyTorch预置框架功能，通过mp.spawn命令启动 使用自定义镜像功能 通过torch.distributed.launch命令启动 通过torch
基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理
guided-decoding 什么是guided-decoding Guided Decoding是一种用于生成文本的策略，通过提供额外的上下文或约束，来引导模型生成更符合预期的结果。 比如使用openai启动服务，通过配置guided_json参数使用JSON Schema的架构来举例。
上传数据和算法至OBS（首次使用时需要） 前提条件 已经在OBS上创建好并行文件系统，请参见创建并行文件系统。 已经在obsutil安装和配置，请参见obsutils安装和配置。 准备数据 单击下载动物数据集至本地，并解压。 通过obsutil将数据集上传至OBS桶中。 ./obsutil
创建Workflow模型注册节点 功能介绍 通过对ModelArts模型管理的能力进行封装，实现将训练后的结果注册到模型管理中，便于后续服务部署、更新等步骤的执行。主要应用场景如下： 注册ModelArts训练作业中训练完成的模型。 注册自定义镜像中的模型。 属性总览 您可以使用
昇腾云服务6.3.905版本说明 本文档主要介绍昇腾云服务6.3.905版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud
包括手动续费和自动续费两种方式，您可以根据需求选择。了解更多关于续费的信息，请参见续费概述。 费用账单 您可以在“费用中心 > 账单管理”查看资源相关的流水和明细账单，以便了解您的消费情况。如需了解具体操作步骤，请参见费用账单。 欠费 在使用云服务时，账户的可用额度小于待结算的账
应用体验 ModelArts Studio大模型即服务平台提供了MaaS应用实践中心，为具体的应用场景提供一整套解决方案。 在MaaS应用实践中心查看应用解决方案
配置kubectl工具 kubectl是Kubernetes集群的命令行工具，配置kubectl后，您可通过kubectl命令操作Kubernetes集群。本文介绍如何配置kubectl工具，操作步骤如下。 登录ModelArts管理控制台，在左侧菜单栏中选择“AI专属资源池 >
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。
准备BF16权重 本章节介绍BF16权重转换操作。 BF16获取权重有2种方式： 方式一：直接获取HuggingFace社区已经转换完成的BF16权重。 方式二：基于DeepSeek官网提供的FP8权重转换为BF16权重。 方式一提供的权重是开发者在社区贡献的权重，如果是用于生产
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
备的数据集。 准备镜像 准备训练模型适用的容器镜像。 微调训练 指令监督微调训练 介绍如何进行SFT全参微调/lora微调、训练任务、性能查看。 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.908）
模型配置文件编写说明 模型开发者发布模型时需要编写配置文件config.json。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。 配置文件格式说明 配置文件为JSON格式，参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 描述
包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
