检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了解盘古大模型的计费信息、购买准备工作以及相关操作步骤，您将能够顺利完成华为账号注册、购买与开通盘古大模型服务，并有效配置访问权限，确保子用户顺利使用盘古大模型，加速您的业务部署。 计费说明 计费说明 准备工作 注册华为账号并开通华为云 购买盘古大模型套件 开通盘古大模型服务 配置盘古访问授权
输入数据：用户输入的内容或问题。 输出指示：指定输出的类型或格式。 提示词所需的格式取决于您想要语言模型完成的任务类型，以上要素并非都是必须的。 提示词工程使用流程 盘古大模型套件平台可以辅助用户进行提示词设计、调优、比较和对提示词通用性进行自动评估等功能，并对调优得到的提示词进行保存和管理。
表示生成结果时使用的提示文本的tokens的数量。 total_tokens Number 对话过程中使用的tokens总数。 流式（stream参数为true） 状态码： 200 表7 流式输出的数据单元 参数 参数类型 描述 data String stream=true时，模型生
补预设 当任务存在多个情境时，编写提示词时需要考虑全面，需要做好各种情境的预设，告知模型对应策略，可以有效防止模型误回答以及编造输出。 父主题： 常用方法论
中控模块：盘古-NLP-N1-基础功能模型 说明：该模块需要实现意图识别分类的功能。当输入意图识别模块的是政务问题时，控制下游调用检索模块；当输入不需要调用检索的非政务问题时，不调用检索，直接模型回答问题。实现方法为通过微调获得一个具有二分类能力的模型。 问答模块：盘古-NLP-N2-基础功能模型
启用盘古大模型搜索增强能力 大模型在训练时使用的是静态的文本数据集，这些数据集通常是包含了截止到某一时间点的所有数据。因此，对于该时间点之后的信息，大模型可能无法提供。 通过将大模型与盘古搜索结合，可以有效解决数据的时效性问题。当用户提出问题时，模型先通过搜索引擎获取最新的信息，并
使用盘古大模型应用开发SDK时，需要在代码中配置以下信息，请提前收集。 表1 资源列表 类型 资源 是否必选 依赖信息 参考文档 备注 大语言模型 华为云盘古 是（大语言模型至少选一个） 盘古模型API调用URL。 华为云IAM账号认证信息。 盘古大模型API参考文档： 申请资源时，可联系客户支持获取。
例如下： 大模型输入： 请改写命令案例，生成10个相似命令，保证每个命令都可以调用正确的指标接口。 请注意： 1. 命令必须契合人类常见的提问方式，命令方式必须保证多样化 2. 生成的命令只能改写命令案例中文表达部分的内容 指标接口名称：利润的平均值、市值的平均值 命令案例：科技行业公司的平均利润和市值是多少
配置知识库 大模型在进行训练时，使用的是通用的数据集，这些数据集没有包含特定行业的数据。通过知识库功能，用户可以将领域知识上传到知识库中，向大模型提问时，大模型将会结合知识库中的内容进行回答，解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
ional State Transfer）风格的API，支持您通过HTTPS请求调用，调用方法请参见如何调用REST API。 调用API时，需要用户网络可以访问公网。 父主题： 使用前必读
请检查调用API时是否有传入认证鉴权信息。 PANGU.0031 Inner service exception. 服务内部异常。 请联系服务技术支持协助解决。 PANGU.3305 call cal tokens failed 获取token错误。 请检查调用API时使用的token是否完整，是否存在错误。
大模型是否可以自定义人设 大模型支持设置人设，在用户调用对话问答（chat/completions）API时，可以将“role”参数设置为system，让模型按预设的人设风格回答问题。例如，以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，这样当需要访问这些数据时，就不用再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
提示财务报销助手依赖的必要信息，如用户名称等基础信息： final String customSystemPrompt = "你是财务报销助手。当需要用户反馈信息时，尽可能提示用户名称等原始信息。今天的日期是" + new SimpleDateFormat("yyyy年MM月dd日").format(new
可以作为模型能力的参考指标，当两个模型进行比较时，BLEU指标越大的模型效果一般更好。但是模型的能力还是需要通过人工评测来评判，BLEU指标只能作为参考。 指标的缺陷 BLEU指标只考虑n-gram词的重叠度，不考虑句子的结构和语义。 模型优化建议 如何基于指标的分值对训练任务进行调整：一般横向比较两个模型时，可以参
Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类。静态工具需要开发者事先定义好，即在编译期定义与实例化。对于动态工具，开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过注解的方式新增，在run接口中实现工具的功能，例如： import
获取数据清洗模板 在清洗数据时，用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板，用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”，进入“清洗模板”页面，在该页面查看预置的数据清洗模板。
推理资产不足，现有资源无法满足同时部署多个模型时，可以扩容模型推理资产。 在“平台管理 > 资产管理 > 模型推理资产”中，单击操作列“扩容”执行扩容操作。 图4 扩容模型推理资产 不同类型的模型在部署时，做占用的推理资产数量存在差异，部署模型时所占的推理资产数量与模型类型关系如下。 表1
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，当需要访问这些数据时，无需再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 Cache缓存有以下几种操作： 初始化：指定缓存使用哪种存储方式，例如，使用内存型缓存可以设置为memory_cache
可解释性。 对于模型答案的反问 如果模型给出了错误的答案，可以反问模型回答的逻辑，有时可以发现错误回答的根因，并基于此修正提示词。 在反问时需要指明“上面的xxx”。例如：“为什么你认为上面的xxx是xxx类别？为什么上面的xxx不是xxx类别？”，否则模型会认为用户反问是个新问
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
