检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同 当您将微调的模型部署以后，输入一个已经出现在训练样本中，或虽未出现但和训练样本差异很小的问题，回答完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程
从AI Gallery下载到桶里的数据集，再在ModelArts里创建数据集，显示样本数为0 首先需要确认从AI Gallery下载的数据格式，比如压缩包、excel文件等会被忽略，支持格式详情： 数据集类型 标注类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本
为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制
少于xx个字的文本。”，将回答设置为符合要求的段落。 续写：根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息，可以将有监督的问题设置为“以下是一篇文章的第一个句子：xxx/第一段落：xxx。请根据以上的句子/段落，续写为一段不少于xx个字的文本。”，再将回答设置为符合要求的段落。
为什么其他大模型适用的提示词在盘古大模型上效果不佳 提示词与训练数据的相似度关系。 提示词的效果通常与训练数据的相似度密切相关。当提示词的内容与模型在训练过程中接触过的样本数据相似时，模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据，逐渐建立起对特定模式、
数据量足够，为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 大模型微调训练类问题
可以引导大模型生成准确率更高的结果。 单样本/多样本 可以在提示词中提供示例，让模型先学习后回答，在使用这种方法时需要约束新样例不能照抄前面给的参考样例，新样例必须多样化、不能重复等，否则可能会直接嫁接前文样例的内容，也可以约束只是让它学习参考样例的xxx生成思路、xxx风格、xxx生成方法等。
创建文本类数据集加工任务 上线加工后的数据集 对加工后的数据集执行上线操作。 上线加工后的文本类数据集 标注数据集（可选） 创建文本类数据集标注任务 创建数据集标注任务，对数据集执行标注操作，标注后的数据可以用于模型训练或评测。 创建文本类数据集标注任务 审核数据集标注结果 对数据集的标注结果进行审核
直接从数据本身派生。 有监督学习 有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。 LoRA 局部微调（LoRA）是一种优化技术，用于在深度学习模型的微调过程中，只对模型的一部分参数进行更新，而不是对所
关注专业性：微调是对预训练模型的参数进行调整，使其在特定任务中达到更高的精度和效果。微调的核心在于利用少量的特定任务数据，使模型的表现从通用性向具体任务需求过渡。 使用小规模的特定任务数据：微调通常需要小规模但高质量的标注数据，直接与目标任务相关。通过这些数据，模型可以学习到任务特定的特征和模式。
如何利用提示词提高大模型在难度较高推理任务中的准确率 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程，可以使其在推理任务中得到更高的准确性，尤其是在涉及多步推理和复杂逻辑关系的任务中。 具体做法如下：
构建外，也可能会使用开源的数据集。数据版权功能主要用于记录和管理数据集的版权信息，确保数据的使用合法合规，并清晰地了解数据集的来源和相关的版权授权。通过填写这些信息，可以追溯数据的来源，明确数据使用的限制和许可，从而保护数据版权并避免版权纠纷。 图5 设置数据版权 单击页面右下角
一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 困惑度 用来衡量大语言模型预测一个语言样本的能力，数值越低，准确率也就越高，表明模型性能越好。 指标看板 bleu-1：模型生成句子与实际句子在单字层面的匹配度，数值越高，表明模型性能越好。
valid number is 0”，表示训练集/验证集的有效样本量为0，例如： INFO: root: Train valid number is 0. 该日志表示数据集中的有效样本量为0，可能有如下原因： 数据未标注。 标注的数据不符合规格。 请检查数据是否已标注或标注是否符合算法要求。
式为：最低学习率 = 初始学习率 * 学习率衰减比率。也就是说，学习率在每次衰减后不会低于这个计算出来的最低值。 热身比例 热身比例是指在模型训练过程中逐渐增加学习率的过程。在训练的初始阶段，模型的权重通常是随机初始化的，此时模型的预测能力较弱。如果直接使用较大的学习率进行训练，
{1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致，导致该错误发生。 例如，训练集中的标签共有4个，验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 父主题： 训练NLP大模型
为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场
通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。
高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 在ModelArts
这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。 Pro
为什么微调后的盘古大模型的回答会异常中断 为什么微调后的盘古大模型只能回答训练样本中的问题 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 为什么多轮问答场景的盘古大模型微调效果不好 数据量足够，为什么盘古大模型微调效果仍然不好 数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
