检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何分析大模型输出错误回答的根因 大模型的输出过程通常是一个黑盒，涉及数以亿计甚至千亿计的参数计算，虽然这些参数共同作用生成输出，但具体的决策机制并不透明。 可以通过在提示词中引导模型输出思考过程，或者在模型输出后追问模型，帮助我们分析错误的根因。例如： “我注意到你犯了xxx的错误，请解释得出该结论的原因。”
海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 图文提取 提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码）。
发送的实体的MIME类型，参数值为“application/json”。 使用AppCode认证方式的请求Header参数见表2。 表2 请求Header参数（APPCode认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String APPCode值。 用于获取操
F1_SCORE 精准率和召回率的调和平均数，数值越高，表明模型性能越好。 BLEU-1 模型生成句子与实际句子在单字层面的匹配度，数值越高，表明模型性能越好。 BLEU-2 模型生成句子与实际句子在词组层面的匹配度，数值越高，表明模型性能越好。 BLEU-4 模型生成结果和实际句子的加权
查看评估进展 评估完成后，可以查看每条数据的评估结果。 在评估结果中，“预期结果”表示变量值（问题）所预设的期望回答，“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。 父主题： 批量评估提示词效果
能力。这时，通过调整提示词通常可以有效引导模型生成合理的回答。 例如，对于一些常见的问答场景（如常见百科问题），由于这些领域的相关数据广泛存在，模型通常能够较好地理解并生成准确回答。在这种情况下，通过调整提示词来引导模型的生成风格和细节，通常可以达到较好的效果。 业务逻辑的复杂性
"请给我科技行业公司的利润平均值和市值平均值。" 2. "科技行业的公司平均利润和市值都是多少？" 3. "我需要知道科技行业公司的平均利润和平均市值。" 4. "能告诉我一下科技行业公司的平均利润和市值是多少吗？" 5. "请问科技行业的公司，他们的平均利润和市值是多少？" …… 微调数据要求：
整。 温度 用于控制生成结果的随机性。调高温度，会使得模型的输出更具多样性和创新性；降低温度，会使输出内容更加遵循指令要求，但同时也会减少模型输出的多样性。 问题配置 问题 该参数将在对话框中原样呈现给用户。如未配置此处，将由大模型根据输出参数描述，自动生成包含所有问题关键词的一个问题。
准确性和智能化。 例如，当用户提出复杂查询时，传统搜索引擎可能仅返回一系列相关链接，而大模型则能够理解问题的上下文，结合多个搜索结果生成简洁的答案，或提供更详细的解释，从而进一步改善用户的搜索体验。 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。
“核采样”参数为1的生成结果1 图3 “核采样”参数为1的生成结果2 将“核采样”参数调小至0.1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以观察到模型前后两次回复内容的多样性降低。 图4 “核采样”参数为0.1的生成结果1 图5 “核采样”参数为0.1的生成结果2 预置
为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或
流式输出的数据单元 参数 参数类型 描述 data String stream=true时，执行工作流的消息以流式形式返回。生成的内容以增量的方式逐步发送回来，每个data字段均包含一部分生成的内容，直到所有data返回，响应结束。 表6 流式输出的数据单元 参数 参数类型 描述 event String
页面将返回至“数据配比”页面，配比任务运行成功后，状态将显示为“运行成功”。 单击操作列“生成”，将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”，其格式为“默认格式”。 父主题： 发布图片类数据集
理，确保生成的数据集符合训练的标准。 数据合成：平台支持利用预置或自定义的数据指令对预训练文本、单轮问答、单轮问答（人设））数据集类型进行处理，并根据设定的轮数生成新数据。通过数据合成技术，可以生成大量高质量的训练数据，这些数据可以用于大模型的预训练，增强模型的泛化能力和性能。
则文本将被引导到大模型节点。大模型节点基于预训练的盘古NLP大模型生成响应，从而实现自然语言理解和生成。完成后，结果传递给结束节点。 结束节点：工作流的终结节点，负责输出最终结果。无论是翻译结果还是大模型生成的回答，都会通过该节点输出给用户。 父主题： 低代码构建多语言文本翻译工作流
页面将返回至“数据配比”页面，配比任务运行成功后，状态将显示为“运行成功”。 单击操作列“生成”，将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”，其格式为“默认格式”。 父主题： 发布文本类数据集
获取提示词模板 平台提供了多种任务场景的提示词模板，可以帮助用户更好地利用大模型的能力，引导模型生成更准确、更有针对性的输出，从而提高模型在特定任务上的性能。 在创建提示词工程前，可以先使用预置的提示词模板，或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。
“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方法：根据选择的评估方法，对模型生成结果和预期结果进行比较，并根据算法给出相应的得分。 图2 创建提示词评估任务
Studio大模型开发平台可以辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 表1 功能说明 功能 说明 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度，一个任务代表一个场景或一个调优需求，在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任务管理支持工程任务的创建、查询、修改、删除。
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
