检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看评估进展 评估完成后，可以查看每条数据的评估结果。 在评估结果中，“预期结果”表示变量值（问题）所预设的期望回答，“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。 父主题： 批量评估提示词效果
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
理解能力。这时，通过调整提示词通常可以有效引导模型生成合理的回答。 例如，对于一些常见的问答场景（如常见百科问题），由于这些领域的相关数据广泛存在，模型通常能够较好地理解并生成准确回答。在这种情况下，通过调整提示词来引导模型的生成风格和细节，通常可以达到较好的效果。 业务逻辑的复杂性
BLEU-1 模型生成句子与实际句子在单字层面的匹配度，数值越高，表明模型性能越好。 BLEU-2 模型生成句子与实际句子在词组层面的匹配度，数值越高，表明模型性能越好。 BLEU-4 模型生成结果和实际句子的加权平均精确率，数值越高，表明模型性能越好。 ROUGE-1 模型生成句子与实际
据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针对特定区域，旨在提供完整、一致且高精度的气象数据。 再分析数据为二进制格式，具体格式要求详见表1。
口数量上全覆盖。 数据中需要提供JSON的字段解释，以及Query和JSON生成逻辑解释。这些信息需要拼入Prompt，并确保人以及大模型可以根据Query、字段解释、Query到JSON的生成逻辑生成符合客户要求的JSON。Prompt会作为输入（context字段）的内容组成
整。 温度 用于控制生成结果的随机性。调高温度，会使得模型的输出更具多样性和创新性；降低温度，会使输出内容更加遵循指令要求，但同时也会减少模型输出的多样性。 问题配置 问题 该参数将在对话框中原样呈现给用户。如未配置此处，将由大模型根据输出参数描述，自动生成包含所有问题关键词的一个问题。
“核采样”参数为1的生成结果1 图3 “核采样”参数为1的生成结果2 将“核采样”参数调小至0.1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以观察到模型前后两次回复内容的多样性降低。 图4 “核采样”参数为0.1的生成结果1 图5 “核采样”参数为0.1的生成结果2 预置
为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制
温度系数（temperature）控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率。其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化。 多样性与一致性 多样性和一致性是评估LLM生成语言的两个重要方面。 多样性指模型生成的不同输出之间
为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或
提示词与训练数据的相似度关系。 提示词的效果通常与训练数据的相似度密切相关。当提示词的内容与模型在训练过程中接触过的样本数据相似时，模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据，逐渐建立起对特定模式、结构和语言的理解，因此，提示词中包含的关键词、句式和语境如果与训练数
而大模型则能够理解问题的上下文，结合多个搜索结果生成简洁的答案，或提供更详细的解释，从而进一步改善用户的搜索体验。 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 默认值：0 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。
在空间成员以及编辑所在空间成员角色的权限。 模型开发工程师 可以执行模型开发工具链模块的所有操作，但是不能创建或者删除计算资源，也不能修改所在空间本身。 应用开发工程师 应用开发工程师具备执行应用开发工具链模块所有操作的权限，其余角色不具备。 标注管理员 拥有数据工程数据标注-标注管理模块的所有权限，其余角色不具备。
”、“天空为什么是蓝色的？” 说明：对任务要求的补充说明。如：“有冒险、友情等元素”、“生成文本少于200字” 上下文：提供角色、示例、外部信息等，供大模型参考。 提示工程是什么 大模型生成文本的过程可视为一个黑盒，同一模型下对于同一个场景，使用不同的提示词也会获得不同的结果。提
微调阶段：基于预训练的成果，微调阶段通过在特定领域的数据集上进一步训练，使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并
页面将返回至“数据配比”页面，配比任务运行成功后，状态将显示为“运行成功”。 单击操作列“生成”，将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”，其格式为“默认格式”。 父主题： 发布图片类数据集
在完成数据合成后，若无需使用数据标注功能，可直接在“数据合成”页面单击操作列“生成”，生成加工数据集。 加工数据集列表可在“数据工程 > 数据加工 > 加工数据集”中查看。 创建自定义数据合成指令 平台支持用户创建自定义数据合成指令。 本章节将以“生成主题散文”的场景为例，详细介绍自定义数据合成指令的配置步骤。
页面将返回至“数据配比”页面，配比任务运行成功后，状态将显示为“运行成功”。 单击操作列“生成”，将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”，其格式为“默认格式”。 父主题： 发布文本类数据集
选择评估使用的变量数据集和评估方法。 评估用例集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方法：根据选择的评估方法，对模型生成结果和预期结果进行比较，并根据算法给出相应的得分。 图2 创建提示词评估任务 单击“确定”，评估任务自动进入执行状态。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
