检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
构建的优点是数据丰富度更高，缺点是成本较高。 当您将无监督数据构建为有监督数据时，请尽可能保证数据的多样性。建议将不同文本构建为不同的场景，甚至将同一段文本构建为多个不同的场景。 不同规格的模型支持的长度不同，当您将无监督数据构建为有监督数据时，请确保数据长度符合模型长度限制。 父主题：
步骤3：添加预置插件 应用支持添加插件技能，可添加“预置插件”和“个人插件”。添加插件可以为应用配备更多技能，建议插件数量不超过5个。 本节示例将指导您添加名为python_interpreter的“预置插件”。 添加插件的步骤如下： 在“技能 > 插件”模块，单击“添加”。 在
使用数据工程构建CV大模型数据集 CV大模型支持接入的数据集类型 盘古CV大模型支持接入图片类、视频类、其他类数据集，，不同模型所需数据见表1，数据集格式要求请参见图片类数据集格式要求、视频类数据集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景
使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 训练科学计算大模型训练数据要求所需数据量 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求
数据集加工场景介绍 数据加工介绍 ModelArts Studio大模型开发平台提供数据加工功能，涵盖了数据清洗、数据合成和数据标注关键操作，旨在确保原始数据符合业务需求和模型训练的标准，是数据工程中的核心环节。 数据清洗 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练
靠性和稳定性。 数据配比：平台支持对文本、图片类数据进行数据配比。用户在勾选数据集时可以勾选多条，通过调整不同来源或类型数据的比例，以优化模型训练过程。通过数据配比可以确保模型能够更全面地学习和理解数据的多样性，提高模型的泛化能力和性能。 数据流通：平台支持数据集配比、拆分发布。
jsonl 训练NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表2。 表2 构建NLP大模型所需数据量 模型规格 训练类型 推荐数据量 最小数据量（数据条数） 单场景推荐训练数据量 单条数据Token长度限制 N1 微调 - 1000条/每场景
训练轮数是指需要完成全量训练数据集训练的次数。训练轮数越大，模型学习数据的迭代步数就越多，可以学得更深入，但过高会导致过拟合；训练轮数越小，模型学习数据的迭代步数就越少，过低则会导致欠拟合。 您可根据任务难度和数据规模进行调整。一般来说，如果目标任务的难度较大或数据量级很小，可以使用较大
为什么其他大模型适用的提示词在盘古大模型上效果不佳 提示词与训练数据的相似度关系。 提示词的效果通常与训练数据的相似度密切相关。当提示词的内容与模型在训练过程中接触过的样本数据相似时，模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据，逐渐建立起对特定模式、结构和语言的理解，因
通过数据加工操作，平台能够有效清理噪声数据、标准化数据格式，提升数据集的整体质量。 数据发布：平台提供了数据评估、数据配比、数据流通的发布操作，旨在通过数据质量评估与合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，并促进数据的高效流通与应用。 数据评估：数
使用数据工程构建数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 数据工程常见报错与解决方案
度较大，或者模型的学习率设置得过小，导致模型的收敛速度太慢，无法达到最优解。您可以尝试增大训练轮数或者增大学习率的方式来解决。 图4 异常的Loss曲线：平缓且保持高位 Loss曲线异常抖动：Loss曲线异常抖动的原因可能是由于训练数据质量差，比如数据存在噪声或者分布不均衡，导致
求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 合成数据集 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 标注数据集 为无标签数据集添加准确的标签，确
[0,1)。 给输入数据加噪音的概率 定义了给输入数据加噪音的概率，定义了给输入数据加噪音的概率。加噪音是一种正则化技术，它通过在输入数据中添加随机噪音来增强模型的泛化能力。取值范围：[0,1]。 给输入数据加噪音的尺度 给输入数据加噪音的尺度，定义了给输入数据加噪音的尺度。这
表示在模型训练初期，逐步增加学习率到预设值的训练轮次，用于帮助模型在训练初期稳定收敛，避免大幅度的参数更新导致不稳定的学习过程。 热身阶段学习率 热身轮次中使用的初始学习率。 优化器 优化器参数用于更新模型的权重。 sgd（随机梯度下降法）是深度学习中常用的优化算法之一，尤其适用于大规模数据集的训练。
对话问答（/chat/completions） Java、Python、Go、.NET、NodeJs 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 - 通用文本（/text/completions） Java、Python、Go、.NET、NodeJs、PHP 给定一个提
平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择数据发布格式，保证数据的兼容性与一致性，从而为后续模型训练和应用部署打下坚实基础。 支持数据发布的数据集类型 支持数据发布的数据集类型见表1。 表1 支持数据发布的数据集类型 数据类型 数据评估 数据配比 数据流通 文本类
数据保护技术 盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数
添加CoT思维链提示 对于复杂推理问题（如数学问题或逻辑推理），通过给大模型示例或鼓励大模型解释推理过程，可以引导大模型生成准确率更高的结果。 单样本/多样本 可以在提示词中提供示例，让模型先学习后回答，在使用这种方法时需要约束新样例不能照抄前面给的参考样例，新样例必须多样化、不
在左侧导航栏中选择“数据工程 > 数据获取 > 原始数据集”，单击需要查看的数据集名称。 查看数据集基本信息。在“基本信息”页签，可以查看数据详情、数据来源以及扩展信息。 下载原始数据集。在“数据预览”页签，可以查看数据内容，单击右上角“下载”即可下载原始数据集。 查看数据血缘。在“数据血缘”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
