检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
配置Workflow参数 功能介绍 参数相关的配置使用Placeholder对象来表示，以占位符的形式实现用户数据运行时配置的能力，当前支持的数据类型包括：int、str、bool、float、Enum、dict、list。开发者可根据场景需要，将节点中的相关字段（如算法超参）通
/ : * ? " < > | ' &”。 勾选“我已阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》”。 选择运行环境：CPU、GPU或ASCEND。 图2 发布AI Gallery Notebook 界面提示成功创建分享后，单击“”跳转至AI
模型：结构实现和社区一致，Huggingface模型开箱即用，同时可以快速适配新模型。 调用：提供高性能算子下发和图模式两种方案，兼顾性能和灵活性。 特性：服务调度、特性实现和社区一致，针对昇腾硬件做亲和替换和优化。 接口：离线SDK、在线OpenAI Server和社区完全一致，无缝迁移。 Ascend-vLLM支持的特性介绍
Manifest管理概述 在ModelArts使用过程中，需要做数据标注、模型训练、推理、数据集管理、市场发布等业务，这些业务都基于数据集进行的。为了规范对数据集的使用，适配各个使用场景，同时兼顾数据集管理的灵活性，本文档描述数据集管理的接口和描述规范——Manifest文件。
Standard数据管理 ModelArts Standard数据管理提供了一套高效便捷的管理和标注数据框架。支持图片、文本、语音、视频等多种数据类型，涵盖图像分类、目标检测、音频分割、文本分类等多个标注场景，适用于计算机视觉、自然语言处理、音视频分析等AI项目场景。 ModelArts
Standard Workflow Workflow是开发者基于实际业务场景开发用于部署模型或应用的流水线工具，核心是将完整的机器学习任务拆分为多步骤工作流，每个步骤都是一个可管理的组件，可以单独开发、优化、配置和自动化。Workflow有助于标准化机器学习模型生成流程，使团队能
审核并验收团队标注任务结果 审核团队标注任务结果 团队标注成员完成后，团队审核者可以对标注结果进行审核。 登录ModelArts管理控制台，左侧菜单栏选择“数据准备>数据标注”，在数据标注页面选择“我参与的”，在任务列表“操作”列单击“审核”，发起审核。 图1 发起审核 在审核页
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
创建训练任务 针对专属池场景，应注意挂载的目录设置和调试时一致。 登录ModelArts管理控制台，检查当前账号是否已完成访问授权的配置。如果未完成，请参考使用委托授权。针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作
准备BF16权重 本章节介绍BF16权重转换操作。 BF16获取权重有2种方式： 方式一：直接获取HuggingFace社区已经转换完成的BF16权重。 方式二：基于DeepSeek官网提供的FP8权重转换为BF16权重。 方式一提供的权重是开发者在社区贡献的权重，如果是用于生产
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
TensorFlow在OBS写入TensorBoard到达5GB时停止 问题现象 ModelArts训练作业出现如下报错： Encountered Unknown Error EntityTooLarge Your proposed upload exceeds the maximum
使用预置算法训练时，训练失败，报“bndbox”错误 问题现象 使用预置算法创建训练作业，训练失败，日志中出现如下报错。 KeyError: 'bndbox' 原因分析 用于训练的数据集中，使用了“非矩形框”标注。而预置使用算法不支持“非矩形框”标注的数据集。 处理方法 此问题有两种解决方法：
复制数据至容器中空间不足 问题现象 ModelArts训练作业运行时，日志中遇到如下报错，导致数据无法复制至容器中。 OSError:[Errno 28] No space left on device 原因分析 数据下载至容器的位置空间不足。 处理方法 请排查是否将数据下载至“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
