检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为用户提供高质量的输出结果。 这种卓越的表现源于其先进的算法和深度学习架构。盘古大模型能够深入理解语言的内在逻辑与语义关系，因此在处理复杂语言任务时展现出更高的精准度和效率。这不仅提高了任务的成功率，也大幅提升了用户体验，使盘古大模型成为企业和开发者构建智能应用的首选。 创作能力强
数据发布功能通过数据评估和配比，确保发布的数据集满足大模型训练的高标准。这不仅包括数据规模的要求，还涵盖了数据质量、平衡性和代表性的保证，避免数据不均衡或不具备足够多样性的情况，进而提高模型的准确性和鲁棒性。 提高数据的多样性和代表性 通过合理的数据配比，帮助用户按特定比例组合多个数
Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据标注”，单击页面右上角“创建标注任务”。 在“创建标注任务”页面选择需要标注的文本类数据集，并选择标注项。 选择标注项时，不同类型的数据文件对应的标注项有所差异，可基于页面提示进行选择。
在“导出工作流”页面选择工作流，单击“导出”。工作流将以一个jsonl格式的文件下载至本地。 导入工作流。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。
提升数据治理的效率和效果。 通过整合上述功能，数据工程在AI研发中不仅帮助用户高效构建高质量的训练数据集，还通过全流程的数据处理和管理，探索数据与模型性能的内在联系，为模型训练和应用提供坚实的数据基础，推动了模型的精确训练与持续优化，提升了AI应用开发的效率和成果的可靠性。 父主题：
多个典型场景中，提供强大的AI技术支持。 ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1
合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”，单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面，选择需要清洗的文本类数据集，单击“下一步”。 进入“清洗步骤编排”页面。对于文本类数据集，可选择的清洗算子请参见文本类清洗算子能力清单。
理资源的扩缩容，即在当前资源的基础上扩充或缩小对应的资源。 资源扩缩容的步骤如下： 登录ModelArts Studio大模型开发平台，单击页面右上角“订购管理”。 在“订购管理”页面，单击“资源订购”页签，在资源列表单击操作列“扩缩容”。 在“扩缩容”页面完成当前资源的扩缩容操
如何利用提示词提高大模型在难度较高推理任务中的准确率 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程，可以使其在推理任务中得到更高的准确性，尤其是在涉及多步推理和复杂逻辑关系的任务中。 具体做法如下：
训练预测大模型时，所需的数据通常为表格格式，即由行和列组成的扁平化数据。具体要求如下： 行：每行代表一个样本。每行与其他行具有相同的列，并且顺序相同，这些行通常按照某种特定顺序排列。 列：每列表示一种特征。每列的数据类型应保持一致，不同列可以具有不同的数据类型。 顺序：表格中的行通常按照特定顺序排列。
流通文本类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个文本类数据集支持发布的格式为： 默认格式：平台默认的格式。 在默认格式中，context和target是键值对。示例如下： {"context": "你好，请介绍自己", "target":
提升了搜索结果的相关性、准确性和智能化。 例如，当用户提出复杂查询时，传统搜索引擎可能仅返回一系列相关链接，而大模型则能够理解问题的上下文，结合多个搜索结果生成简洁的答案，或提供更详细的解释，从而进一步改善用户的搜索体验。 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。
如何调整训练参数，使盘古大模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。 数据量级：
Studio大模型开发平台针对视频类数据集预设了一套基础评估标准，涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建视频类数据集评估任务。 创建视频类数据集评估标准步骤如下：
质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建图片类数据集评估任务。 创建图片类数据集评估标准步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： 如果学习率过大，模型可能无法收敛。 如果学习率过小，模型的收敛速度将变得非常慢。 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 Lora矩阵的轶 较高的取值意味着更多的参数被更新，模型具有更大的灵活性，
生成的内容结尾必须要引导观众购买； 6.生成的内容必须紧扣产品本身，突出产品的特点，不能出现不相关的内容； 7.生成的内容必须完整，必须涵盖产品介绍中的每个关键点，不能丢失任何有价值的细节； 8.生成的内容必须符合客观事实，不能存在事实性错误； 9.生成的内容必须语言通顺； 10.生成的内容中不能出现“带货口播”等这一类字样；
据，确保数据的准确性与一致性，从而提高数据质量，为模型训练提供可靠的输入。 扩展数据集的多样性和泛化能力 在数据量不足或样本不平衡的情况下，数据合成可以生成新数据，扩展数据集的规模和多样性。通过增加数据的多样性，能够提升模型在各种场景下的泛化能力，增强其对未知数据的适应性。 增强模型训练的有效性
录和管理数据集的版权信息，确保数据的使用合法合规，并清晰地了解数据集的来源和相关的版权授权。通过填写这些信息，可以追溯数据的来源，明确数据使用的限制和许可，从而保护数据版权并避免版权纠纷。 单击页面右下角“立即创建”，回退至“数据导入”页面，在该页面可以查看数据集的任务状态，若状态为“运行成功”，则数据导入成功。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
