正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用文本(文本补全):文本补全接口提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 对话问答(多轮对话):多轮对话接口提供多轮文本能力,常用于多轮对话、聊天任务。
文本补全:提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 多轮对话:提供多轮文本能力,常用于多轮对话、聊天任务。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。
创建提示词工程 通过精心设计和优化提示词,可以引导大模型生成用户期望的输出,提示词工程任务的目标是通过设计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词的统一管理。 登录盘古大模型套件平台。
通常,通过创建一个新的数据集步骤,可以生成包含某个特定场景数据的数据集。例如,这个数据集可能只包含用于训练摘要提取功能的数据。然而,在实际模型训练中,通常需要结合多种任务类型的数据,而不仅限于单一场景的数据。因此,实际的训练会混合不同类型的数据。
为什么微调后的模型,只能回答在训练样本中学过的问题 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。
为什么微调后的模型,回答总是在重复某一句或某几句话 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。
盘古-NLP-N2-基模型 - 预训练模型,擅长通用任务,擅长文本理解,可以高效进行文案生成与文本解析,高性能、时延低。
当用户提出问题时,模型先通过搜索引擎获取最新的信息,并将这些信息整合到大模型生成的答案中,从而提供既准确又及时的答案。 登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签,选择使用N2系列模型,在页面右侧“参数设置”中可以开启搜索增强功能。
BLEU-1:机器翻译、⽂本摘要等生成类任务常用的评价指标。用于评估模型生成句子与实际句子在单字层面的匹配度,数值越高,表明模型性能越好。 BLEU-2:机器翻译、⽂本摘要等生成类任务常用的评价指标。
这些模型可作为各种任务的基础,包括但不限于阅读理解、文本生成和情感分析等,但不具备对话问答能力。 功能模型:功能模型是在基模型的基础上经过微调,专门适应特定任务,并具备对话问答的能力。经过特定场景优化的功能模型能够更有效地处理文案生成、阅读理解、代码生成等任务。
提示工程是指在不更新模型参数的前提下,通过设计和优化提示词的方式,引导大模型生成目标结果的方法。 为什么需要提示工程 模型生成结果优劣取决与模型能力及提示词质量。
在评估结果中,“预期结果”即为变量值(问题)所预设的期望回答,“生成结果”即模型回复的结果。通过比较“预期结果”与“生成结果”的差异可以判断提示词效果。 图3 查看评估报告 父主题: 批量评估提示词效果
表1 规则打分指标 指标名称 说明 BLEU-1 模型生成句子与实际句子在单字层面的匹配度,数值越高,表明模型性能越好。 BLEU-2 模型生成句子与实际句子在中词组层面的匹配度,数值越高,表明模型性能越好。
数据集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。 评估方法:根据选择的评估方法,对模型生成结果和预期结果进行比较,并根据算法给出相应的得分。 图3 创建评估 输入评估名称和描述。
created Integer 响应生成的时间。 choices Array of choices objects 生成的文本列表,包含以下属性: message:生成的文本内容。 index:生成的文本在列表中的索引,从0开始。
比如: 表1 采用规则将无监督数据构建为有监督数据的常用方法 规则场景 说明 文本生成:根据标题、关键词、简介生成段落。 若您的无监督文档中含标题、关键词、简介等结构化信息,可以将有监督的问题设置为“请根据标题xxx/关键性xxx/简介xxx,生成一段不少于xx个字的文本。”
表3 盘古-NLP-N1-基础功能模型-2K训练参数推荐 应用场景 参数 推荐值 基础场景(文本分析、文本生成、文本翻译、query生成、开放问答、知识问答、改写、总结聚合、聊天) 数据批量大小 8 训练轮数 4 学习率 0.000005 优化器 adamw 学习率衰减比率 0.01
如总结、提取、生成等。 上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。 输入数据:用户输入的内容或问题。 输出指示:指定输出的类型或格式。 提示词所需的格式取决于您想要语言模型完成的任务类型,以上要素并非都是必须的。
图3 高亮差异点 下拉页面至“提示词效果比较”模块,比较提示词的效果,输入相同的变量值,查看两个提示词生成的结果。 图4 比较提示词的效果 父主题: 两两比对提示词效果
基于规则打分:使用预置的相似度或准确率打分规则对比模型生成结果与真实标注的差异,从而计算模型指标。 评估数据: 选择已创建并发布的评估数据集。 基本信息: 输入任务的名称和描述。 单击“立即创建”,创建一个模型评估任务。 父主题: 评估盘古大模型