检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场
言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率。其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化。 多样性与一致性 多样性和一致性是评估LLM生成语言的两个重要方面。 多样性指模型生成的不同输出之间的差异。一致性指相同输入对应的不同输出之间的一致性。
流通文本类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个文本类数据集支持发布的格式为： 默认格式：平台默认的格式。 在默认格式中，context和target是键值对。示例如下： {"context": "你好，请介绍自己", "target":
关于盘古大模型的详细费用信息，敬请咨询华为云售前咨询，我们将为您提供专业的解答和支持。 通过阅读本文，您可以快速了解盘古大模型的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 盘古大模型提供包周期计费、按需计费两种计费模式，以满足不同场景下的用户需求。关于计费模式的详细介绍请参见计费模式。
基础模型 选择所需微调的基础模型。 训练参数 数据集 训练数据集。 类别特征列 指定使用LabelEncoder处理的字符串类型类别特征的列表。格式为["列名1","列名2"]，默认设置为[]，表示没有需要处理的类别特征。 LabelEncoder的作用是将类别特征转换为数值型特征，使模型能够处理这些特征。
如“以上是金融领域的新闻”、“以上是一篇xx领域的xxx文档”。 例如，“结合金融领域相关知识，生成一份调研报告大纲，报告主题是区块链洞察”、“以上是某理财app用户反馈的问题，请提供解决方案。” 人设： 增加人设可以让生成的内容更符合该领域需求。 例如，“假设你是一位银行面试官
Studio大模型开发平台，在“我的空间”分页，单击“创建空间”。 填写空间名称、描述，单击“确认”，完成空间的创建。 图1 创建空间 单击创建好的空间，进入ModelArts Studio大模型开发平台。 如果用户具备多个空间的访问权限，可在页面左上角单击切换空间。 图2 切换空间 管理盘古工作空间
意图识别节点响应意图的准确性。本实践的意图识别节点包含文本翻译意图和其他意图。 文本翻译意图：当用户请求翻译时，意图识别节点的关键任务是准确判断用户翻译的需求，执行翻译节点分支，并给出正确的翻译结果。 如图1，当用户输入翻译类问题时，“意图识别”节点对用户的意图分类为“文本翻译”
对不同类型的数据集，平台设计了专用的清洗算子，以确保数据符合模型训练的标准和业务需求。 数据合成：数据合成利用预置或自定义的数据指令对原始数据集进行处理，并根据设定的轮数生成新的数据。 数据标注：数据标注旨在为无标签的数据集添加准确的标签，标注数据的质量直接影响模型的训练效果和精
盘古预测大模型能力与规格 盘古预测大模型是面向结构化数据，通过任务理解、模型推荐、模型融合技术，构建通用的预测能力。 ModelArts Studio大模型开发平台为用户提供了多种规格的预测大模型，以满足不同场景和需求。以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域
包年/包月和按需计费模式有什么区别 包年/包月和按需计费模式的区别如下： 包年/包月计费模式：包年/包月的计费模式是一种预付费方式，按订单的购买周期计费，适用于可预估资源使用周期的场景。 按需计费模式：按需付费是后付费方式，可以随时开通/关闭对应资源，支持秒级计费，系统会根据云服务器的实际使用情况每小时出账单，并从账户余额里扣款。
调效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。
撰写提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息，如主题、风格、格式等。 撰写提示词时，可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提
提示词撰写完成后，可以通过输入具体的变量值，组成完整的提示词，查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入
数据量足够，为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 大模型微调训练类问题
数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自
模型训练的标准，是数据工程中的核心环节。 数据清洗 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 数据合成 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 数据工程操作流程见图1、表1。
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（/chat/completions）
流通图片类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 创建文本类数据集流通任务步骤如下： 登录ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
