检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏中选择“服务管理”，选择所需要查看的服务，单击操作列“查看详情”。 图1 查看详情 在服务详情页面，在“概览”页签，可以查看调用量的概览信息，在“监控”页签，可以查看下详细的调用总量、调用成功量与调用失败量。 图2 查看调用量概览信息 图3 查看调用量详情 通过“运营面板”功能查看调用量
控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。一般来说，设置较大的参数值可以生成较长和较完整的回复，但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复，但也可能导致生成不完整或不连贯的内容，请避免该值小于10，否则可能生成空值或
控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。一般来说，设置较大的参数值可以生成较长和较完整的回复，但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复，但也可能导致生成不完整或不连贯的内容，请避免该值小于10，否则可能生成空值或
置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。 // 建议在业务项目入口处配置 // 不需要添加.properties后缀 ConfigLoadUtil.setBas
部署为在线服务 模型训练完成后，即模型处于“已完成”状态时，可以启动模型的部署操作。 基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型支持模型推理，但不支持模型训练。 部署为在线服务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“部署”。
设置候选提示词 用户可以将效果较好的提示词设为候选提示词，并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度，避免生成异常截断。请注意，该参数值存在上限，请结合目标任务的实际需要以及模型支持的长度限制来调整。 模型规格：不同
涵盖从基模型到功能模型的多种选择，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K
常见问题 使用java sdk出现第三方库冲突 当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency>
型调用安全。 授权后，在调用盘古大模型能力时，模型的输入和输出将分别调用一次内容审核服务，该服务为付费项，用户可按需购买。 若不使用，您也可以自行对接第三方内容审核服务。关于大模型生成内容的责任主体，请参考《盘古大模型服务协议》。 启用内容审核服务 登录盘古大模型套件平台。 在左
发布提示词 通过横向比较提示词效果和批量评估提示词效果，如果找到高质量的提示词，可以将提示词发布至“提示词管理”中。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程名称，跳转工程任务下候选提示词页面。
要求写邮件、做摘要总结、生成观点见解等。 多轮对话：基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核
多轮对话：提供多轮文本能力，常用于多轮对话、聊天任务。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核，实现拦截大模型输
什么情况下不建议微调 虽然微调可以在一定程度上提升领域能力，但有时候微调也无法解决所有问题。即使您的目标场景依赖垂域背景知识，微调也并非最佳方案，比如： 场景微调的数据量很少或者数据质量很差：微调对数据量和数据质量有很高的要求，需要使用高质量的数据进行模型训练。 垂域知识问答场景
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出，提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
大模型概念类问题 大模型是什么 大模型的计量单位token指的是什么 大模型是否可以自定义人设 盘古自然语言大模型的适用场景有哪些 大模型的安全性需要从哪些方面展开评估和防护 训练智能客服系统大模型需要考虑哪些方面
Backend timeout. 请求超时。 请检查原调用请求是否过于频繁，如果是并发过大，可以通过重试机制解决，在代码里检查返回值，碰到这个并发错误可以延时一小段时间（如2-5s）重试请求；也可以后端检查上一个请求结果，上一个请求返回之后再发送下一个请求，避免请求过于频繁。 请与技术支持确认，API是否已完成部署。
则越复杂的任务，越需要应用这些技巧来输出一个逻辑自洽、清晰明了的指令。 提示词是什么 提示词也称为Prompt，是与大模型进行交互的输入，可以是一个问题、一段文字描述或者任何形式的文本输入。 提示词要素 指令：要求模型执行的具体任务或回答的问题。如：“写一篇关于勇士的小说”、“天空为什么是蓝色的？”
异议或者想法有变化，想对当前结果进行更改。此时可以单步运行Agent： /** * 单步执行Agent，提供干预能力 * * @param agentSession 包括初始状态，以及执行步骤间的agentSession，可以使用AgentSessionHelper类辅助处理
</dependency> 本地导入 下载SDK包，将pangu-kits-app*.jar文件放在项目目录lib文件夹下（.jar文件放置路径也可以自定义）。 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
