检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/v1/{project_id}/models 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 model_name 否 String 模型名称，可支持模糊匹配。 exact_match
准备镜像 准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud
本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称
启动智能任务 功能介绍 启动智能任务，支持启动“智能标注”和“自动分组”两大类智能任务。可通过指定请求体中的“task_type”参数来启动某类任务。数据路径或工作路径位于KMS加密桶的数据集，不支持启动主动学习和自动分组任务，支持预标注任务。 “智能标注”是指基于当前标注阶段的
从最新生成权重文件处继续训练。详见断点续训和故障快恢说明 CKPT_LOAD_TYPE 1 可选【0、1、2】，默认为1 0： 不加载权重 1：加载权重不加载优化器状态【增量训练】 2：加载权重且加载优化器状态【 断点续训】详见断点续训和故障快恢说明 USER_CONVERTED_CKPT_PATH
从最新生成权重文件处继续训练。详见断点续训和故障快恢说明 CKPT_LOAD_TYPE 1 可选【0、1、2】，默认为1 0： 不加载权重 1：加载权重不加载优化器状态【增量训练】 2：加载权重且加载优化器状态【 断点续训】详见断点续训和故障快恢说明 USER_CONVERTED_CKPT_PATH
本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 适配的CANN版本是cann_8.0
集最后一列，否则可能导致训练失败。 表格数据集示例： 以银行存款预测数据集为例：根据预测人的年龄、工作类型、婚姻状况、文化程度、是否有房贷和是否有个人贷款。 表1 数据源的具体字段及意义 字段名 含义 类型 描述 attr_1 年龄 Int 表示客户的年龄。 attr_2 职业 String
orks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 labelSelector 否 String 标签筛选。 limit 否 Integer
PyTorch版本：2.1.0。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912软件包中的AscendCloud-AIGC-6
NPU的推理指导（6.3.909） Qwen-VL是规模视觉语言模型，可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu + 华为自研Ascend
在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
ame} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 network_name 是 String 网络资源名称。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型
行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本，获得对应的token序列，user_ids和assistant_ids input_ids是user_ids和assistant_ids的拼接 labels与in
本例的Dockerfile将基于MindSpore基础镜像mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3，升级到cann 5.1.RC2和MindSpore1.8.1，构建一个面向AI任务的镜像。 加载镜像模板后，Dockerfile文件自动加载，在“.ma/upgrade_ascend_mindspore_1
行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本，获得对应的token序列，user_ids和assistant_ids input_ids是user_ids和assistant_ids的拼接 labels与in
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
