检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示工程介绍 提示工程是一项将知识、技巧和直觉结合的工作，需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用了
理解底层任务 需要站在模型的角度理解相关任务的真实底层任务，并清晰描述任务要求。 例如，在文档问答任务中，任务本质不是生成，而是抽取任务，需要让模型“从文档中抽取出问题的答案，不能是主观的理解或解释，不能修改原文的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出，提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
什么情况下不建议微调 虽然微调可以在一定程度上提升领域能力，但有时候微调也无法解决所有问题。即使您的目标场景依赖垂域背景知识，微调也并非最佳方案，比如： 场景微调的数据量很少或者数据质量很差：微调对数据量和数据质量有很高的要求，需要使用高质量的数据进行模型训练。 垂域知识问答场景
搭结构 提示词的结构需要尽可能直观，不要将指令、上下文、说明等内容放在一行输入，适当的换行将提示词的内容结构拆分体现出来。一个结构清晰的提示词输入，能够让模型更好地理解您的意图。 另外，上下文可以用'''xxx'''三引号区隔开，以防止指令冲突。在如下的闭卷问答任务中，文本中部分
如何调整推理参数，使模型效果最优 推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考：
使用“能力调测”调用模型 前提条件 使用能力调测调用模型之前，需要进行开通盘古大模型服务操作。 使用“能力调测”调用模型 能力调测通过图形化问答界面，提供了快速访问盘古大模型能力的入口。用户可以通过在“能力调测”页面选择调用基模型或训练后的模型。 训练后的模型需要“在线部署”且状
多轮问答场景，为什么微调后的效果不好 当您的目标任务是多轮问答，并且使用了多轮问答数据进行微调，微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和回答。
Vector Embedding Emebedding模块用于对Emebedding模型API的适配封装，提供统一的接口快速地调用CSS等模型emebedding能力。 初始化：根据相应模型定义Emebedding类，如使用华为CSS Embedding为：Embeddings.of("css");。
Vector Embedding Embedding模块用于对Embedding模型API的适配封装，提供统一的接口快速地调用CSS模型embedding能力。 初始化：根据相应模型定义Embedding类。例如，使用华为CSS Embedding为：Embeddings.of(Embeddings
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型，如，闭源模型或者裸机部署的自定义推理服务，可以通过继承AbstractLLM自定义一个模型，示例代码如下： @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
数据量满足要求，为什么微调后的效果不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 典型训练问题和优化策略
LLMs（语言模型） LLMs模块用于对大语言模型API的适配封装，提供统一的接口快速地调用盘古、GALLERY三方模型等模型API。 初始化：根据相应模型定义LLM类，如使用盘古LLM为： LLMs.of("pangu")。 from pangukitsappdev.api.llms
约束与限制 受技术等多种因素制约，盘古大模型服务存在一些约束限制。 每个模型请求的最大Token数有所差异，详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备盘古大模型训练数据集 > 模型训练所需数据量与数据格式要求”。
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，这样当需要访问这些数据时，就不用再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
Agent效果优化 如果Agent出现无法正确调用工具的情况，可以尝试一些prompt优化技术提升效果。 优化System prompt 提示财务报销助手依赖的必要信息，如用户名称等基础信息： final String customSystemPrompt = "你是财务
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务，有以下两种调用方式： Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要
盘古应用开发SDK简介 应用开发SDK概述 应用开发SDK针对大模型应用开发场景，对大语言模型进行封装，提供了提示词模板、记忆、技能、智能代理等功能模块，简化用户的开发工作，帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言： Java Python 开发环境要求 华
认证鉴权 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。 Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 Token认证 Token在计算机系统中代表令牌
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，当需要访问这些数据时，无需再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 Cache缓存有以下几种操作： 初始化：指定缓存使用哪种存储方式，例如，使用内存型缓存可以设置为memory_cache
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
