检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 在ModelArts
“默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本，将数据集转化为适用于其他模型的格式。例如盘古数据集中，context、target字段分别表示问题和答案。对于Alpaca格式的数据集，inst
置为盘古格式。 设置数据集的“资产可见性”，填写数据集名称、描述，设置扩展信息后，单击“确认发布”进行数据集发布操作。 发布后的数据集会作为当前空间的数据资产同步显示在“空间资产 > 数据”页面。单击数据集名称，可以在“数据血缘”页签查看该数据集所经历的操作，如加工、发布操作。 父主题：
创建文本类数据集加工任务 上线加工后的数据集 对加工后的数据集执行上线操作。 上线加工后的文本类数据集 标注数据集（可选） 创建文本类数据集标注任务 创建数据集标注任务，对数据集执行标注操作，标注后的数据可以用于模型训练或评测。 创建文本类数据集标注任务 审核数据集标注结果 对数据集的标注结果进行审核
如果您需要为企业员工设置不同的访问权限，以实现功能使用权限和资产的权限隔离，可以为不同员工配置相应的角色，以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用盘古的其他功能。 您可以使用统
插件配置，对应查询需要运行时传值的参数。 响应参数 流式（Header中的stream参数为true） 状态码： 200 表5 流式输出的数据单元 参数 参数类型 描述 data String stream=true时，执行工作流的消息以流式形式返回。生成的内容以增量的方式逐步发送
和大模型组件。 开始：工作流的入口组件，该组件的配置详见配置开始组件。 结束：输出工作流的执行结果，该组件的配置详见配置结束组件。 LLM：初始化完成的大模型节点，没有额外的Prompt配置，直接接受用户原始输入，并输出大模型执行后的原始输出，该组件的配置详见配置大模型组件。 用
提示工程是一项将知识、技巧和直觉结合的工作，需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用了较为简单的任务作为示例，以便简
数据标注是数据工程中的关键步骤，旨在为无标签的数据集添加准确的标签，从而为模型训练提供有效的监督信号。标注数据的质量直接影响模型的训练效果和精度，因此高效、准确的标注过程至关重要。数据标注不仅仅是人工输入，它还涉及对数据内容的理解和分类，以确保标签精准地反映数据的特征和用途。 为了
考察模型逻辑 虽然模型的思考过程是个黑盒，但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求，考察模型生成的逻辑，提升模型思维过程的可解释性。 对于模型答案的反问 如果模型给出了错误的答案，可以反问模型回答的逻辑，有时可以发现错误回答的根因，并基于此修正提示词。 在反问时
模型基于简单prompt的生成可能是多范围的各方向发散的，如果您需要进行范围约束，或加强模型对已有信息的理解，可以进行提示：“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”，或者可以说明已有的信息是什么领域的信息，比
如何调整训练参数，使盘古大模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。 数据量级：
生成的内容结尾必须要引导观众购买； 6.生成的内容必须紧扣产品本身，突出产品的特点，不能出现不相关的内容； 7.生成的内容必须完整，必须涵盖产品介绍中的每个关键点，不能丢失任何有价值的细节； 8.生成的内容必须符合客观事实，不能存在事实性错误； 9.生成的内容必须语言通顺； 10.生成的内容中不能出现“带货口播”等这一类字样；
通过灵活调整数据集的比例配比，用户能够保证数据的均衡性，避免因数据分布不均可能引发的问题，从而构建高质量、适应性强的数据集，为后续的模型训练、验证和应用提供坚实的数据支持。 数据发布意义 数据发布不仅包括数据的格式转换，还涉及数据比例的调整，以确保数据在规模、质量和内容上满足训练标
撰写所需提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息，如主题、风格、格式等。 撰写提示词时，可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提示词设
ss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化趋势。一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。
数据量足够，为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 大模型微调训练类问题
Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。首先，需要根据业务需求收集相关的原始数据，确保数据的覆盖面和多样性。例如
包年/包月和按需计费模式可针对不同业务需求进行选择： 对于长时间且稳定的业务需求，包年/包月模式通常更划算，因为它能提供更低的平均成本和一定的稳定性。 对于短期、突发或不可预测的业务需求，按需计费模式则更为合适，因为它提供了更高的灵活性和避免长期预付费可能带来的压力。 父主题： 计费FAQ
模型的效果和可靠性。数据评估的主要意义体现在以下几个方面： 确保数据质量：通过评估数据集的准确性、完整性和一致性，用户可以及时发现并修复数据中的问题，确保数据符合训练标准。 提升模型性能：高质量的数据集直接影响模型的训练效果。通过准确的评估，用户能够确保数据集的高质量，进而提升模型的性能和精度。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
