检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能类型 使用限制 数据工程-数据格式要求 ModelArts Studio平台支持接入的数据需要满足格式要求,包括文件格式、单个文件大小、所有文本大小以及文件数量等,请参考《用户指南》“使用数据工程构建数据集 > 数据集格式要求”。 模型开发-训练、评测最小数据量要求 使用ModelArts
选择基模型/基础功能模型 盘古-NLP-N2-基础功能模型 准备训练数据 本场景不涉及自监督训练,无需准备自监督数据。 微调数据来源: 来源一:真实业务场景数据。 来源二:基于大模型的数据泛化。基于目标场任务的分析,通过人工标注部分数据样例,然后利用大模型(如盘古提供的任意规格的基础功能模型)采用s
耗量计费,系统将每小时自动扣费。 盘古大模型的计费模式见表1。 表1 计费模式表 计费类别 计费项 计费模式 计费量纲 付费方式 计费周期 模型服务 模型订阅服务 包周期计费 套 预付费,按照订单的购买周期结算 1个月~1年 数据服务 数据智算服务 按需计费 智算单元 后付费,根据服务实际消耗量计费
开发盘古CV大模型 使用数据工程构建CV大模型数据集 训练CV大模型 部署CV大模型
页面展示的参数进行设置。 表1 预测大模型微调参数说明 参数分类 训练参数 说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“预测大模型”。 训练类型 选择“微调”。 基础模型 选择所需微调的基础模型。 训练参数 数据集 训练数据集。 类别特征列 指定使用Label
开发盘古科学计算大模型 使用数据工程构建科学计算大模型数据集 训练科学计算大模型 部署科学计算大模型 调用科学计算大模型
异常的Loss曲线:平缓且保持高位 Loss曲线异常抖动:Loss曲线异常抖动的原因可能是由于训练数据质量差,比如数据存在噪声或者分布不均衡,导致训练过程不稳定。你可以尝试提升数据质量的方式来解决。 图5 异常的Loss曲线:异常抖动 父主题: 大模型微调训练类问题
它从未标记的数据中提取监督信号,属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习,从而生成有用的表示,可用于后续任务。它无需额外的人工标签数据,因为监督信号直接从数据本身派生。 有监督学习 有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函
开发盘古预测大模型 使用数据工程构建预测大模型数据集 训练预测大模型 部署预测大模型
大模型使用类问题 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的具体文件进行上传 如何查看预置模型的历史版本
”。在候选列表中,勾选需要进行横向比对的提示词,并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。 评估方法:根据选择的评估方法,对模型生成结果和预期
开发盘古NLP大模型 使用数据工程构建NLP大模型数据集 训练NLP大模型 压缩NLP大模型 部署NLP大模型 评测NLP大模型 调用NLP大模型
模型规格:不同规格的模型支持的长度不同,若目标任务本身需要生成的长度已经超过模型上限,建议您替换可支持更长长度的模型。 数据质量:请检查训练数据中是否存在包含异常截断的数据,可以通过规则进行清洗。 父主题: 大模型微调训练类问题
大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练,如何进行模型学习 如何调整训练参数,使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数,使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码
通过一站式流程,完成从数据导入、数据加工、数据发布、模型训练、模型压缩、模型部署、模型评测到模型调用,全面掌握盘古大模型的开发过程。同时,结合应用开发的提示词工程、Agent开发,您将能够高效构建智能应用,充分释放盘古大模型的潜力,为业务创新提供强大支持。 数据工程 使用数据工程构建数据集 模型开发
页面展示的参数进行设置。 表1 CV大模型微调参数说明 参数分类 训练参数 说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“CV大模型”。 训练类型 选择“微调”。 基础模型 选择所需微调的基础模型。 训练参数 数据集 训练数据集。 自定义L1预训练模型目录 自定义预训练模型所在的OBS路径。
好。 表2 NLP大模型自动评测指标说明-使用评测模板 评测指标(自动评测-使用评测模板) 指标说明 评测得分 每个数据集上的得分为模型在当前数据集上的通过率;评测能力项中若有多个数据集则按照数据量的大小计算通过率的加权平均数。 综合能力 综合能力是计算所有数据集通过率的加权平均数。
input 是 TaskInputDto object 输入数据的信息。 output 是 TaskOutputDto object 输出数据的信息。 config 是 TaskConfigDto object 科学计算大模型配置信息。 表4 TaskInputDto 参数 是否必选
默认值会在大模型解析时被使用。 响应参数 参数名称 响应参数的名称,长度为1 ~ 50个字符,参数名称会作为大模型解析大模型输出结果的依据。 参数描述 响应参数的名称,长度为1 ~ 200个字符,参数描述会作为大模型解析大模型输出结果的依据。 参数类型 该参数值的数据类型,当前支持三种类型。
“训练轮次”或“学习率”等参数的设置,适当增大“训练轮次”的值,或根据实际情况调整“学习率”的值,帮助模型更好收敛。 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。 父主题: 大模型微调训练类问题