检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
eagle 投机小模型训练 本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。 步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
使用MaaS调优模型 在ModelArts Studio大模型即服务平台完成模型创建后，可以对模型进行调优，获得更合适的模型。 场景描述 从“我的模型”中选择一个模型进行调优，当模型完成调优作业后会产生一个新的模型，呈现在“我的模型”列表中。 约束限制 表1列举了支持模型调优的模
eagle投机小模型训练 本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。 步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的
模型适配 MindSpore Lite是华为自研的推理引擎，能够最大化地利用昇腾芯片的性能。在使用MindSpore Lite进行离线推理时，需要先将模型转换为mindir模型，再利用MindSpore Lite作为推理引擎，将转换后的模型直接运行在昇腾设备上。模型转换需要使用converter_lite工具。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参
创建ModelArts数据集 在ModelArts进行数据准备，首先需要先创建一个数据集，后续的操作如数据导入、数据分析、数据标注等，都是基于数据集来进行的。 数据集功能仅在以下Region支持：华北-北京四、华北-北京一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingfac
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所
在ModelArts自动学习中模型训练图片异常怎么办？ 使用自动学习的图像分类或物体检测算法时，标注完成的数据在进行模型训练后，训练结果为图片异常。针对不同的异常情况说明及解决方案参见表1。 表1 自动学习训练中图片异常情况说明（图像分类和物体检测） 序号 图片异常显示字段 图片异常说明
多模态 什么是多模态 多模态（Multimodality）是集成和处理两种或两种以上不同类型的信息或数据的方法和技术。具体来说，在机器学习和人工智能领域，多模态涉及的数据类型通常包括但不限于文本、图像、视频、音频和传感器数据。 多模态的主要目标是利用来自多种模态的信息来提升任务的
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
创建数据集导出任务 功能介绍 创建数据集导出任务，可导出至OBS或新数据集。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id
执行训练任务（推荐） 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
