检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出，提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型，如，闭源模型或者裸机部署的自定义推理服务，可以通过继承AbstractLLM自定义一个模型，示例代码如下： @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境，python版本选择3.9。 在whl包同级目录下，执行如下命令安装： pip install p
LLMs模块用于对大语言模型API的适配封装，提供统一的接口快速地调用盘古、GALLERY三方模型等模型API。 初始化：根据相应模型定义LLM类，如使用盘古LLM为： LLMs.of("pangu")。 from pangukitsappdev.api.llms.factory import
AI助手”，选择需要运行的AI助手，单击“查看”。 图1 查看AI助手 在详情页面，AI助手API调用地址。 图2 获取调用地址 获取Token 本示例中，通过使用Postman软件获取Token。 登录“我的凭证 > API凭证”页面，获取user name、domain name、project id。
间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs.PANGU, llmConfig); llm.setCache(Caches.of(Caches.IN_MEMORY)); llm.ask("你能讲一个笑话吗？") 此时，再次使用同样的问题，则不会再调用大模型，而是直接从内存返回：
.build()); 使用AppCode鉴权添加的Header： X-Apig-AppCode:your-key 使用APIG简易认证方式添加的Header： Authorization:Bearer your-key 当LLM被定义好之后，使用方式与盘古大模型相同，开源模
最大迭代次数，控制Agent子规划的最大迭代步数，防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-Agent-L0.C模型，或其衍生模型，使用通用模型或其他模型无法运行。如上例所示，当前的module-version需要配置为“N2_age
模型支持的操作 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是各个模型支持的具体操作： 表1 模型支持的操作 模型 预训练 微调 模型评估 模型压缩
议室？ - 步骤1: 思考:好的，我需要先查询A02会议室今天下午3点到8点的预定状态。使用meeting_room_status_query工具进行查询。 行动:使用工具[meeting_room_status_query],传入参数"{\"start\": \"2024-05-07
存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
迁移盘古大模型 模型训练完成后，可以通过迁移（导入模型、导出模型）功能将本局点训练的模型导出，或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。 图1 模型管理 导入/导出模型 以从环境A迁移模型到环境B为例： 登
候选提示词页面。 图1 提示词工程 选中需要评估的候选提示词，单击左上角“创建评估”按钮，跳转评估任务创建页面。 图2 创建评估 选择评估使用的变量数据集和评估方法。 数据集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方法：
“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。 如果节点没有加速卡，则选择“AI加速卡 > 不使用”。 单击“立即下载”，下载设备证书和Agent固件，并将设备证书与Agent固件分别重命名为license.tgz、hilens-agent
能修改原文的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题答案”，“生成”一词不是很恰当，模型会引入一些外部知识。 例如，在构造泛化问题的任务中，需要基于原问题改写为相同含义的问题，而不是生成相似的问题。当提示词使用“请生成10个跟“手机银行怎么转账”相似的问
使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学习和分析，盘古大模型能够捕捉语言中的细微差别和复杂模式，无论是在词汇使用、语法结构，还是语义理解上，都能达到令人满意的精度。此外，模型具备自我学习和不断进化的能力，随着新数据的持续输入，其性能和适应性不断提升，
配置AI助手工具 各种功能的API经封装后，将形成一个个工具，AI助手通过大模型来调用不同的工具，实现相应的功能。在创建AI助手前，需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”，单击页面右上角“创建工具”。 图1 工具管理
解是同一个key。 恰当的表述 可以尝试从英语的逻辑去设计提示词。 最好是主谓宾结构完整的句子，少用缩写和特殊句式。 应使用常见的词汇和语言表达方式，避免使用生僻单词和复杂的句式，防止机器理解偏差。 多用肯定句，少用否定句，比如“你不能A -> 你必须保证^A”，“你不能生成重复的问题
体验盘古驱动的应用百宝箱 应用百宝箱是盘古大模型为用户提供的便捷AI应用集，用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前，请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台，在左侧导航栏中选择“应用百宝箱”，进入“应用百宝箱”页面。
使您的目标场景依赖垂域背景知识，微调也并非最佳方案，比如： 场景微调的数据量很少或者数据质量很差：微调对数据量和数据质量有很高的要求，需要使用高质量的数据进行模型训练。 垂域知识问答场景：通用模型本身已经具有在给定的一段或几段段落知识的场景下进行总结回答的能力。因此，如果您的场景
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
