检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据量足够,为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的,建议您排查: 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差,都将影响模型训练的效果,建议提升您的数据质量。 父主题: 大模型微调训练类
如何让大模型按指定风格或格式回复 要让模型按照特定风格回复,可以提供领域和角色信息(如目标受众或特定场景),帮助模型理解并捕捉预期风格。 可以在提示词中,明确描述回复风格的要求。例如,若希望模型回答更精炼,可以提示: 你的回复“需要简洁精炼”、“仅包括最重要的信息”或“专注于主要结论”。
管理应用 Agent开发平台支持对应用执行获取应用ID、删除、导入、导出操作。 获取应用ID、删除应用 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 进入“工作台 > 应用”页面。
调用说明 盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
为什么在微调后的盘古大模型中输入训练样本问题,回答完全不同 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是
类型的应用: 知识型Agent:以大模型为任务执行核心,适用于文本生成和文本检索任务,如搜索问答助手、代码生成助手等。用户通过配置Prompt、知识库等信息,使得大模型能够自主规划和调用工具。 优点:零代码开发,对话过程智能化。 缺点:大模型在面对复杂的、长链条的流程时可能会受到
还是不行"} 数据质量:若数据格式没有问题,仍然发现模型效果不好,您可以根据具体问题针对性的提升您的数据质量。比如,随着对话轮数的增加,模型出现了遗忘,可以检查构造的训练数据中轮数是否普遍较少,建议根据实际情况增加数据中的对话轮数。 父主题: 大模型微调训练类
图1 开始节点配置图 大模型节点配置说明 大模型节点提供了使用大模型的能力,可在节点中配置已部署的模型,用户可以通过编写Prompt、设置参数让模型处理相应任务。 大模型节点为可选节点,若无需配置,可跳过该步骤。 大模型节点配置步骤如下: 拖动左侧“大模型”节点至画布中,单击该节点以打开节点配置页面。
编排与调用应用 应用介绍 手动编排应用 调用应用 管理应用 父主题: 开发盘古大模型Agent应用
创建与管理知识库 知识库介绍 创建知识库 管理知识库 父主题: 开发盘古大模型Agent应用
上传数据至OBS:将本地数据上传至OBS服务,请详见通过控制台快速使用OBS。 使用数据导入功能:通过平台提供的“数据导入”功能,将数据从OBS导入到平台。 父主题: 大模型使用类
“训练轮次”或“学习率”等参数的设置,根据实际情况调整训练参数,帮助模型更好学习。 Prompt设置:请检查您使用的Prompt,对于同一个目标任务,建议在推理阶段使用和训练数据相同或相似的PROMPT,才能发挥出模型的最佳效果。 模型规格:理论上模型的参数规模越大,模型能学到的知识就越多,能学会的知识就更难
性较低。 基于大模型的数据泛化:您可以通过调用大模型(比如盘古提供的任意一个规格的基础功能模型)来获取有监督场景。一个比较常见的方法是,将无监督的文本按照章节、段落、字符数进行切片,让模型基于这个片段生成问答对,再将段落、问题和答案三者组装为有监督数据。使用模型构建的优点是数据丰富度更高,缺点是成本较高。
在调用应用前,请先参考手动编排应用,完成创建应用操作。 获取调用路径 应用的调用路径获取步骤如下: 登录ModelArts Studio大模型开发平台,单击“Agent开发”,进入Agent开发平台。 在“工作台 > 应用”页面,单击所需应用的“ > 调用路径”。 图1 获取应用调用路径-1
通过精心设计和优化提示词,可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台,进入所需空间。
性和一致性,确保数据在进行模型训练前的高质量标准,以保证模型在实际应用中的可靠性和稳定性。 数据配比:平台支持对文本、图片类数据进行数据配比。用户在勾选数据集时可以勾选多条,通过调整不同来源或类型数据的比例,以优化模型训练过程。通过数据配比可以确保模型能够更全面地学习和理解数据的多样性,提高模型的泛化能力和性能。
量的计算资源,而通过提示工程,可以在不对模型能力进行更新的前提下,有效激发模型能力。 “提示词撰写” 和“提示工程”有什么区别 提示词撰写实际上是构建一些问答对数据,用于模型的训练,会更新模型参数,而提示工程不涉及模型训练,仅通过提示词的优化来达到提升模型输出效果的目标。 什么是好的提示词
检查模板占位符与输入是否匹配。 101097 意图识别调用大模型的prompt不符合模型输入的规范。 检查输入的prompt格式,消息的角色和内容。 101096 意图识别调用大模型失败。 检查消息的格式,内容以及大模型服务是否正常。 101095 意图识别用户query输入/引用解析失败。
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
横向比较提示词效果 设置候选提示词 横向比较提示词效果 父主题: 开发盘古大模型提示词工程