检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在反问时需要指明“上面的xxx”。例如：“为什么你认为上面的xxx是xxx类别？为什么上面的xxx不是xxx类别？”，否则模型会认为用户反问是个新问题，而非多轮并回复“您并没有给我xxx问题，请给我具体的xxx问题，以便我更好地解答。” 复述任务要求 可以让模型复述prompt中的要求，考察模型是否理解。
高质量的数据进行模型训练。 垂域知识问答场景：通用模型本身已经具有在给定的一段或几段段落知识的场景下进行总结回答的能力。因此，如果您的场景是基于某个领域内的知识问答，那么采用微调的手段确实能从一定程度上提升效果，但如果综合考虑训练的耗时和模型后续的持续迭代，采用搜索+问答的方案则更具性价比。
本中，或虽未出现但和训练样本差异很小的问题，回答完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的
指标看板 × √ 困惑度 × √ 训练损失值指标介绍 训练损失值（Training Loss）是一种衡量模型预测结果和真实结果差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。以下给出了几种正常的Loss曲线形式：
大模型是什么 大模型是大规模预训练模型的简称，也称预训练模型或基础模型。所谓预训练模型，是指在一个原始任务上预先训练出一个初始模型，然后在下游任务中对该模型进行精调，以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能
NoSuchFieldError: ALLOW_LEADING_DECIMAL_POINT_FOR_NUMBERS 这个字段是jackson-core里面用来标识解析json格式数据是否支持前导小数点的字段，这个报错的意思是找不到这个字段，很可能是因为用户使用的jackson版本太老导致。 建议客户本地将jackson版本升级到和华为云java
Agent用于工具调用场景，与普通的LLM流式输出相比，区分了文本流与工具流。文本流将输出模型的思考过程和最终结果；工具流将输出工具的调用过程，而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调： from pangukitsappdev.callback.StreamCallbackHandler
其中，有两个变化值得关注，一是为ToolRetriever添加了一个query_preprocessor，它的作用为对用户输入的多轮对话进行改写，会将改写后的结果作为工具检索的输入，这里使用了系统内置的ConversationRewriteSkill，它的作用为将多轮对话改写为单轮。二是在创建一个
大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被
的操作行为至关重要。不同模型在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是各个模型支持的具体操作： 表1 模型支持的操作 模型 预训练 微调 模型评估 模型压缩 在线推理 盘古-NLP-N1-基础功能模型-32K -
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（多轮对话）（/chat/completions）
有两个变化值得关注，一是为ToolRetriever添加了一个queryPreprocessor，它的作用为对用户输入的多轮对话进行改写，会将改写后的结果作为工具检索的输入，这里使用了系统内置的ConversationRewriteSkill，它的作用为将多轮对话改写为单轮。二是在创建一个A
盘古大模型通过将客户知识数据转换为向量并存储在向量数据库中，利用先进的自然语言处理技术对用户输入的文本进行深度分析和理解。它能够精准识别用户的意图和需求，即使是复杂或模糊的查询，也能提供准确的响应。这种对话问答方式提高了知识获取效率，使智能客服系统更加人性化和有温度。 此外，盘古大模型还能够根据用户
为什么微调后的模型，回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型
需要站在模型的角度理解相关任务的真实底层任务，并清晰描述任务要求。 例如，在文档问答任务中，任务本质不是生成，而是抽取任务，需要让模型“从文档中抽取出问题的答案，不能是主观的理解或解释，不能修改原文的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题答案”，“生成”一词不是很恰当，模型会引入一些外部知识。
打基础 先制定一个能够明确表达主题的提示词（若模型训练时包含相似任务，可参考模型训练使用的提示词），再由简至繁，逐步增加细节和说明。打好基础是后续提示词优化的前提，基础提示词生成效果差，优化只会事倍功半。 例如，文学创作类可以使用“请创作一个关于{故事主题}的故事”，邮件写作类可以
过拟合是指为了得到一致假设而使假设变得过度严格，会导致模型产生“以偏概全”的现象，导致模型泛化效果变差。 欠拟合 欠拟合是指模型拟合程度不高，数据距离拟合曲线较远，或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。 损失函数 损失函数（Loss Function）是用来度量
服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，
的指令。 提示词是什么 提示词也称为Prompt，是与大模型进行交互的输入，可以是一个问题、一段文字描述或者任何形式的文本输入。 提示词要素 指令：要求模型执行的具体任务或回答的问题。如：“写一篇关于勇士的小说”、“天空为什么是蓝色的？” 说明：对任务要求的补充说明。如：“有冒险
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器，通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
