检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置知识库 大模型在进行训练时，使用的是通用的数据集，这些数据集没有包含特定行业的数据。通过知识库功能，用户可以将领域知识上传到知识库中，向大模型提问时，大模型将会结合知识库中的内容进行回答，解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
启用盘古大模型搜索增强能力 大模型在训练时使用的是静态的文本数据集，这些数据集通常是包含了截止到某一时间点的所有数据。因此，对于该时间点之后的信息，大模型可能无法提供。 通过将大模型与盘古搜索结合，可以有效解决数据的时效性问题。当用户提出问题时，模型先通过搜索引擎获取最新的信息，
创建一个新的数据集 创建一个新的数据集，用来管理上传至平台的训练或者评测数据。 创建一个新的数据集 数据集质量检测/数据清洗 对上传的数据进行质量检测，若质量有问题可以进行数据清洗。 检测数据集质量 清洗数据集（可选） 发布数据集 对无质量问题的数据集执行发布操作。 发布数据集 创建一个训练数据集
如果您准备用于微调的数据量很少，无法满足最小的量级要求，那么不建议您直接使用该数据进行微调，否则可能会存在如下问题： 过拟合：当微调数据量很小时，为了能充分学习这些数据的知识，可能会训练较多的轮次，因而模型会过分记住这些数据，导致无法泛化到其他数据上，最终发生过拟合现象。 欠拟合：当微调数据量很小
下游任务的基础模型。学术界和工业界的实践证明，随着模型参数规模的增加，自然语言处理下游任务的效果显著提升，这得益于海量数据、大量算力以及深度学习的飞跃发展。 基于自然语言处理大模型的预训练模型，可以根据业务需求开发出诸如营销文案生成、阅读理解、智能对话和代码生成等应用功能。 父主题：
每个模型请求的最大Token数有所差异，详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备盘古大模型训练数据集 > 模型训练所需数据量与数据格式要求”。
了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。 父主题： 典型训练问题和优化策略
选中需要评估的候选提示词，单击左上角“创建评估”按钮，跳转评估任务创建页面。 图2 创建评估 选择评估使用的变量数据集和评估方法。 数据集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方法：根据选择的评估方法，对模型生成结果和预期结果进行比较，并根据算法给出相应的得分。
75个英文单词，1token≈1.5汉字。 自监督学习 自监督学习（Self-Supervised Learning，简称SSL）是一种机器学习方法，它从未标记的数据中提取监督信号，属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习，从而生成有用的表示，可用于后续任务。它
语言处理技术对用户输入的文本进行深度分析和理解。它能够精准识别用户的意图和需求，即使是复杂或模糊的查询，也能提供准确的响应。这种对话问答方式提高了知识获取效率，使智能客服系统更加人性化和有温度。 此外，盘古大模型还能够根据用户的行为和反馈不断学习和优化，进一步提升服务能力。它能识
据工程套件还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。 支持区域： 西南-贵阳一 创建一个新的数据集 检测数据集质量 清洗数据集 发布数据集 模型开发套件 模型开发套件是盘古大模型的核心组件，提供从模型创建到部署的一站式解决方案。该套件具备模型管理、训练、评
更高的结果。 单样本/多样本 可以在提示词中提供示例，让模型先学习后回答，在使用这种方法时需要约束新样例不能照抄前面给的参考样例，新样例必须多样化、不能重复等，否则可能会直接嫁接前文样例的内容，也可以约束只是让它学习参考样例的xxx生成思路、xxx风格、xxx生成方法等。 零样本
盘古大模型套件在订购时分为模型资产和模型推理资产。 模型资产即盘古系列大模型，用户可以订购盘古基模型、功能模型、专业大模型。 基模型：基模型经过大规模数据的预训练，能够学习并理解多种复杂特征和模式。这些模型可作为各种任务的基础，包括但不限于阅读理解、文本生成和情感分析等，但不具备对话问答能力。 功能模型：功能
对于微调而言，数据质量非常重要。一份数据量少但质量高的数据，对于模型效果的提升要远大于一份数据量多但质量低的数据。若微调数据的质量较差，那么可能会导致模型学习到一些错误或者不完整的信息，从而影响模型的准确性和可靠性。因此，不建议您直接使用低质量数据进行微调。 一份高质量的数据应具备以下几类特征：
务，并具备逻辑推理、代码生成以及插件调用等高阶能力。 NLP大模型提供了基模型和功能模型两种类型： 基模型：已经在大量数据上进行了预训练，学习并理解了各种复杂特征和模式。这些模型可以作为其他任务的基础，例如阅读理解、文本生成和情感分析等。基模型本身不具备对话问答能力。 功能模型：
评估盘古大模型 创建模型评估数据集 创建模型评估任务 查看评估任务详情
批量评估提示词效果 创建提示词评估数据集 创建提示词评估任务 查看提示词评估结果 父主题： 提示词工程
或者学习率设置得过大，使得模型在最优解附近震荡，甚至跳过最优解，导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线：上升 Loss曲线平缓，保持高位：Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大，或者模型的学习率设置
本场景不涉及自监督训练，无需准备自监督数据。 微调数据来源： 需要针对涉及的模块分别构造相关的微调数据。 query改写模块 来源：互联网开源数据集 问答模块 来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数
注册华为账号并开通华为云 购买盘古大模型套件 开通盘古大模型服务 配置盘古访问授权 创建子用户并授权使用盘古 04 AI一站式流程 通过一站式流程，完成从数据集准备、模型训练、评估、压缩、部署到调用和迁移，全面掌握盘古大模型的开发过程。同时，结合应用开发的提示词工程、AI助手、智能助理Agent应
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
