检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent用于工具调用场景，与普通的LLM流式输出相比，区分了文本流与工具流。文本流将输出模型的思考过程和最终结果；工具流将输出工具的调用过程，而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调： from pangukitsappdev.callback.StreamCallbackHandler
Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，当需要访问这些数据时，无需再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 Cache缓存有以下几种操作： 初始化：指定缓存使用哪种存储方式，例如，使用内存型缓存可以设置为memory_cache
私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM 认证信息，根据实际填写 sdk.llm.pangu
在调用盘古API前，需要先使用“获取Token”接口，获取Token值，再将Token值传入盘古API的请求header参数中，实现盘古服务在接收到用户的API请求时进行身份验证。 关于Token有效期的详细说明请参见获取IAM用户Token（使用密码）。 获取token步骤如下： 登录“我的凭证
私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM 认证信息，根据实际填写 sdk.llm.pangu
加急购买需求，可在页面右上角单击“工单 > 新建工单”，搜索“盘古大模型”产品，选择问题类型并提交工单。 图1 立即购买 图2 新建工单 获取购买权限后，根据需要选择计费模式，基模型需选择“N2 - 基础模型功能 & 应用增强功能”。用户可根据需求自行选择功能模型，输入资源名称，
通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域（Region） 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region
横向比较提示词效果 将设置为候选的两个提示词横向比较，获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务名称，跳转工程任务下候选提示词页面。 图1
Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化趋势。一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。
于该时间点之后的信息，大模型可能无法提供。 通过将大模型与盘古搜索结合，可以有效解决数据的时效性问题。当用户提出问题时，模型先通过搜索引擎获取最新的信息，并将这些信息整合到大模型生成的答案中，从而提供既准确又及时的答案。 登录盘古大模型套件平台，在左侧导航栏中选择“能力调测”。
的准确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能力，能够沉淀行业经验，并更高效、准确地获取信息。 父主题： 大模型概念类问题
A：先生，您家的网络无法连接是吗 A：请问您尝试重新插拔网线吗？ B：是的，我试了 B：还是不行 拼接后的微调数据格式示例： {"context": ["xxx号话务员为您服务！ 先生您好，有什么可以帮助您的？", "你好，是这样的 我家里上不了网了 网连不上", "先生，您家的网络无法连接是吗
德的有害信息。 模型安全：通过模型动态混淆技术，使模型在运行过程中保持混淆状态，有效防止结构信息和权重信息在被窃取后暴露。 系统安全：通过网络隔离、身份认证和鉴权、Web安全等技术保护大模型系统安全，增强自身防护能力，以抵御外部安全攻击。 父主题： 大模型概念类问题
“终端节点”章节查找。 参考IAM帮助文档，获取账号相关信息。 华为云Gallery托管三方模型 否 Gallery三方托管模型API调用URL。 华为云IAM账号认证信息。 三方大模型API参考文档： 申请资源时，可联系客户支持获取。 IAM帮助文档： https://support
来，避免频繁调用。 如果您的华为云账号已升级为华为账号，将不支持获取账号Token。建议为您自己创建一个IAM用户，获取IAM用户的Token。 获取Token方法： Token可通过调用“获取Token”接口获取，接口调用示例如下。 伪码 POST https://iam.cn-southwest-2
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
附录 状态码 错误码 获取项目ID 获取模型调用API地址
模型）来获取目标场景的数据，以此扩充您的数据集。为了能获取更高质量的数据，可以通过CoT（思维链）、self-instruct等方式批量调用大模型，来获取满足您要求的数据。 人工标注：如果以上两种方案均无法满足您的要求，您也可以使用“数据标注”功能，采用人工标注方式来获取数据。 父主题：
参见实名认证。 获取账号信息 在调用服务API、SDK时，需要将账号相关的信息作为API凭证传入代码。 API凭证主要包括：IAM用户名、IAM用户名ID、账号名、账号ID、项目ID、项目、所属区域。可登录控制台在“我的凭证 > API凭证”页面获取。 图1 获取账号信息 父主题：
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
