检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-southwest-2 } } } } 图5 填写请求Body 单击Postman界面“Send”按钮，发送请求。当接口返回状态为201时，表示Token接口调用成功，此时单击“Headers”选项，找到并复制“X-Subj
查看提示词评估结果 评估任务创建完成后，会跳转至“评估”页面，在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称，进入评估任务详情页，可以查看详细的评估进度。例如，在图2中有10条评估用例，当前已经评估了8条，剩余2条待评估。 图2 查看评估进展 评估完成后，进入“评估
单击数据集名称，进入数据集详情页，查看详细的数据质量。 其中，数据长度按照token长度划分为2K以下、2K-4K、4K-8K等多个区间，用户可以参考模型训练所需数据量与数据格式要求，调整训练数据。 图1 校验数据集质量 表1 健康度校验规则说明 校验项 说明 异常符号校验 数据中不能存在异常字符，异常字符示例如下。
安装Ascend插件 详情请参考官方文档：https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
文档问答 基于已有的知识库进行回答，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
文档摘要 基于已有的知识库进行摘要总结，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history
多轮对话 支持上下文记忆的多轮对话。 初始化 from pangukitsappdev.skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory import LLMs
Agent运行Session，包含历史Action，当前Action，状态 Attributes: messages: 本次session的用户的输入 session_id: UUID，在一个session内唯一 current_action: 当前Action
Agent流式输出 Agent用于工具调用场景，与普通的LLM流式输出相比，提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调： /** * 设置流式接口回调函数 * * @param streamAgentCallback
期结束。为了说明用户反馈的功能，选择了调用setUserFeedback，进行反馈，第四次printPlan打印的结果为： 用户: 定个2点-4点的会议 助手: 好的，请问您想预定哪一个会议室？ - 步骤1: 思考:好的，请问您想预定哪一个会议室？ 用户: A01会议室 助手:
rovider的原理为将完整的工具存入内存，再根据工具检索的结果（tool_id）将其从内存中取出。一般来说，ToolProvider将由用户自定义，后续会有例子说明。 上述例子使用的向量数据库配置指定索引名称，以及使用name和description作为向量化字段，因此工具入库
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型，如，闭源模型或者裸机部署的自定义推理服务，可以通过继承AbstractLLM自定义一个模型，示例代码如下： @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
清洗算子功能介绍 数据清洗是提高数据质量的重要环节，包括去除异常的字符、去除表情符号和去除个人敏感内容等，经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力： 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转
使用前必读 概述 调用说明 终端节点 基本概念
NLP大模型 文本补全 多轮对话 父主题： API
体验盘古大模型功能 申请体验盘古大模型服务 体验盘古预置模型能力 体验盘古驱动的应用百宝箱
大模型概念类问题 大模型是什么 大模型的计量单位token指的是什么 大模型是否可以自定义人设 盘古自然语言大模型的适用场景有哪些 大模型的安全性需要从哪些方面展开评估和防护 训练智能客服系统大模型需要考虑哪些方面
典型训练问题和优化策略 什么情况下需要微调 什么情况下不建议微调 数据量很少，可以微调吗 数据量足够，但质量较差，可以微调吗 无监督的领域知识数据，量级无法支持增量预训练，如何让模型学习 如何调整训练参数，使模型效果最优 如何判断训练状态是否正常 如何评估微调后的模型是否正常 如何调整推理参数，使模型效果最优
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
