检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的模型和模型导出的obs路径。 图3 导出模型 单击“确定”，导出模型。 模型导出成功后，可以在obs中查看导出后的模型文件。下载该obs文件，上传到环境B对应的obs桶中。 登录环境B的盘古大模型套件平台，在“模型迁移”页面，选择“导入模型”，输入模型对应的obs地址和模型名称后，单击“确定”，启动导入模型任务。
数据中无异常样本：微调数据需要清洗和校验，滤除其中的噪声，尽可能保证回答中不存在异常数据。如空数据、重复、水印和异常字符等。 数据多样性：微调数据需要具有一定的多样性，多样性能增加任务的复杂度和难度，让模型能够处理不同的情况和问题，提升模型泛化性。例如，现在需要微调一个文案创作的模型，模型需要生成各个城市的宣传文案：
为什么微调后的模型，评估结果很好，但实际场景表现却很差 多轮问答场景，为什么微调后的效果不好 数据量满足要求，为什么微调后的效果不好 数据量和质量均满足要求，为什么微调后的效果不好 数据量和质量均满足要求，Loss也正常收敛，为什么微调后的效果不好
等多种能力。 在准备自监督训练数据和有监督微调数据时，除行业数据外，建议混入一定比例的通用数据，防止模型在经过训练后出现通用问答能力下降的情况。 行业数据 : 通用数据的比例按业内经验有1 : 1、1 : 5。实际训练过程中，行业数据和通用数据和的配比需要根据具体情况进行权衡，需
配置知识库 大模型在进行训练时，使用的是通用的数据集，这些数据集没有包含特定行业的数据。通过知识库功能，用户可以将领域知识上传到知识库中，向大模型提问时，大模型将会结合知识库中的内容进行回答，解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取有监督场景。一个比较常见的方法是，将无监督的文本按照章节、段落、字符数进行切片，让模型基于这个片段生成问答对，再将段落、问题和答案三者组装为有监督数据。使用模型构建的优点是数据丰富度更高，缺点是成本较高。
A：先生，您家的网络无法连接是吗 A：请问您尝试重新插拔网线吗？ B：是的，我试了 B：还是不行 拼接后的微调数据格式示例： {"context": ["xxx号话务员为您服务！ 先生您好，有什么可以帮助您的？", "你好，是这样的 我家里上不了网了 网连不上", "先生，您家的网络无法连接是吗
数据量和质量均满足要求，为什么微调后的效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习
AK/SK认证就是使用AK/SK对请求进行签名，在请求时将签名信息添加到消息头，从而通过身份认证。 AK(Access Key ID)：访问密钥ID。与私有访问密钥关联的唯一标识符；访问密钥ID和私有访问密钥一起使用，对请求进行加密签名。 SK(Secret Access Key)：与访问密钥ID结合使用的密钥，对
大模型的安全性需要从哪些方面展开评估和防护 盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加
数据量和质量均满足要求，Loss也正常收敛，为什么微调后的效果不好 这种情况可能是由于以下几个原因导致的，建议您依次排查： Prompt设置：请检查您使用的Prompt，对于同一个目标任务，建议在推理阶段使用和训练数据相同或相似的PROMPT，才能发挥出模型的最佳效果。 模型规格
History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history import SQLMessageHistory
提示工程是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握提示词工程相关技能将有助于用户了解大型语言模型的能力和局限性。 提示工程不仅涉及设计和研发提示词，还包括与大型语言模型的交互和研发中的各种技能和技术。它在实现和对接大型语言模型、
模型，观察输出是否符合预期。 选择基模型/基础功能模型 query改写模块：盘古-NLP-N1-基础功能模型 说明：该模块用于对多轮对话中的省略和指代问题进行补全，对多轮对话中的query进行改写。当前query改写模块来实现训练和预测需要使用特殊的Prompt，需要注意保持一致。
盘古大模型为开发者提供了一种简单高效的方式来开发和部署大模型。通过数据工程、模型开发和应用开发等功能套件，帮助开发者充分发挥盘古大模型的强大功能。企业可根据自身需求选择合适的大模型相关服务和产品，轻松构建自己的模型。 数据工程套件 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程套件作为盘
模型压缩 在线推理 盘古-NLP-N1-基础功能模型-32K - √ - √ √ 盘古-NLP-N2-基础功能模型-4K - √ √ √ √ 盘古-NLP-N2-基础功能模型-32K - √ √ - √ 盘古-NLP-N4-基础功能模型-4K - √ - √ √ 盘古-NLP-BI专业大模型-4K
如何判断训练状态是否正常 判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化趋势。一般
大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被
回答的风格或格式有特殊要求：虽然通用模型学习了相当可观的基础知识，但如果目标任务要求回答必须符合特定的风格或格式，这将造成和基础知识的数据分布差异。例如，需要模型使用某银行客服的口吻进行线上问答，此时需要使用符合该银行风格和格式的数据集进行微调，以提升模型的遵循度。 Prompt工程后，效果仍无法达到预期：当对模
数据是大模型训练的基础，提供了模型学习所需的知识和信息。大模型通过对大量数据的学习，能够理解并抽象出其中的复杂模式，从而进行精准的预测和决策。在训练过程中，数据的质量和多样性至关重要。高质量的数据能够提升模型对任务的理解，而多样化的数据则帮助模型更好地应对各种情况。因此，数据的收集和处理是大模型训练中的关键环节。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
