检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
打分模式：当前版本打分模式仅支持基于规则，用户不可选，且暂无人工打分。基于规则打分：使用预置的相似度或准确率打分规则对比模型生成结果与真实标注的差异，从而计算模型指标。 评估数据： 选择已创建并发布的评估数据集。 基本信息： 输入任务的名称和描述。 单击“立即创建”，创建一个模型评估任务。 父主题： 评估盘古大模型
Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题，其原理是在Agent运行前，先从所有可用的工具中选择与问题最相关的工具，再交给Agent去处理。
为什么微调后的模型，评估结果很好，但实际场景表现却很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是
科技行业公司的最大利润和市值是多少？ 科技行业公司的最小利润和市值是多少？ 科技行业公司的中位利润和市值是多少？ 科技行业公司的总利润和市值是多少？ … 来源四：基于大模型的数据泛化。基于目标场任务的分析，通过人工标注部分数据样例，再基于大模型（比如盘古提供的任意一个规格的基础功能模
对于微调而言，数据质量非常重要。一份数据量少但质量高的数据，对于模型效果的提升要远大于一份数据量多但质量低的数据。若微调数据的质量较差，那么可能会导致模型学习到一些错误或者不完整的信息，从而影响模型的准确性和可靠性。因此，不建议您直接使用低质量数据进行微调。 一份高质量的数据应具备以下几类特征： 数据与目标任务一致：
约束与限制 受技术等多种因素制约，盘古大模型服务存在一些约束限制。 每个模型请求的最大Token数有所差异，详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备盘古大模型训练数据集 > 模型训练所需数据量与数据格式要求”。
模型基于简单prompt的生成可能是多范围的各方向发散的，如果您需要进行范围约束，或加强模型对已有信息的理解，可以进行提示：“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”，或者可以说明已有的信息是什么领域的信息，比
为什么微调后的模型，回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大
训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 推理参数设置：请检查推理参数中的“温度”或“核采样”等参数的设置，适当减小其中一个参数的值，可以提升模型回答的确定性，避免生成异常内容。
少于xx个字的文本。”，将回答设置为符合要求的段落。 续写：根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息，可以将有监督的问题设置为“以下是一篇文章的第一个句子：xxx/第一段落：xxx。请根据以上的句子/段落，续写为一段不少于xx个字的文本。”，再将回答设置为符合要求的段落。
搭结构 提示词的结构需要尽可能直观，不要将指令、上下文、说明等内容放在一行输入，适当的换行将提示词的内容结构拆分体现出来。一个结构清晰的提示词输入，能够让模型更好地理解您的意图。 另外，上下文可以用'''xxx'''三引号区隔开，以防止指令冲突。在如下的闭卷问答任务中，文本中部分
为什么微调后的模型，回答总是在重复某一句或某几句话 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“
选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。 推理资产 选择“已购资产”。 限时免费：使用免费的推理资源，仅支持部署一个实例。 已购资产：由用户购买的推理资源，实际可用推理单元由购买时的数量决定。
读理解），提取检索文档中的有效信息，完成问题的回答。 除了上述提到的四个模块以外，还需要一个编排流程的pipeline，将这些模块提供的API接口进行编排，串联query改写、意图识别模块、检索模块和问答模块。该pipeline负责接收前端用户输入的query和历史问答，逐步处理并最终输出答案，展示在前端界面。
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验，包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型，用户可根据所需提交体验申请，申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验，包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型，用户可根据所需提交体验申请，申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。
盘古大模型致力于深耕行业，打造多领域的行业大模型和能力集。其核心能力依托于盘古大模型套件平台，该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务，支持大模型的定制开发，并提供覆盖全生命周期的大模型工具链。 盘古大模
N2基础功能模型、N4基础功能模型、经有监督微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下，降低推理时的显存占用。 采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。 模型经过量化压缩后，不支持评估操作，但可以进行部署操作。
开启内容审核后，可以有效拦截大模型输入、输出的有害信息，保障模型调用安全。 NLP模型在流式输出时，同样支持内容审核。特别是模型生成超长内容时，通过实时审核模型生成的内容片段，可以有效降低首token的审核时延，同时确保用户看到的内容是经过严格审核的。 图3 大模型内容审核 购买内容审核
大模型在训练时使用的是静态的文本数据集，这些数据集通常是包含了截止到某一时间点的所有数据。因此，对于该时间点之后的信息，大模型可能无法提供。 通过将大模型与盘古搜索结合，可以有效解决数据的时效性问题。当用户提出问题时，模型先通过搜索引擎获取最新的信息，并将这些信息整合到大模型生成的答案中，从而提供既准确又及时的答案。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
