检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用数据工程构建数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 数据工程常见报错与解决方案
sequence：每个数据样本中的Token数量。 数据预处理并发个数 定义了在预处理数据时，能够同时处理文件的并行进程数量。设定这个参数的主要目的是通过并发处理来加速数据预处理，从而提升训练效率。 数据配置 训练数据 选择训练模型所需的数据集。
如何将本地的数据上传至平台？ 导入数据过程中，为什么无法选中OBS的具体文件进行上传？ 如何查看预置模型的历史版本？ 更多 大模型微调训练类 如何调整训练参数，使盘古大模型效果最优？ 为什么微调后的盘古大模型的回答中会出现乱码？ 如何判断盘古大模型训练状态是否正常？
配比数据集 数据配比是将多个数据集按特定比例组合并生成为“加工数据集”的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。
盘古大模型能够根据用户给定的题目，快速生成高质量的代码，支持Java、Python、Go等多种编程语言。它不仅能够提供完整的代码实现，还能够根据用户的需求，进行代码补全和不同编程语言之间的改写转化。借助盘古大模型，程序员可以更加专注于创新和设计，而无需过多关注繁琐的编码工作。
在“文件类型”页面，选择文件类型。 导入文本文档数据。支持上传txt、doc、docx、pdf、ppt、pptx格式的文本文档，要求单个文件不超过10M。 导入表格数据。支持上传xlsx、xls、csv格式的表格数据，要求单个文件不超过10M。
表3 功能限制 功能类型 使用限制 数据工程-数据格式要求 ModelArts Studio平台支持接入的数据需要满足格式要求，包括文件格式、单个文件大小、所有文本大小以及文件数量等，请参考《用户指南》“使用数据工程构建数据集 > 数据集格式要求”。
通过这种明确的指令，更容易生成准确的翻译结果。 运用提示词技巧：可参考提示词写作实践进行Prompt写作。 父主题： 低代码构建多语言文本翻译工作流
在右侧“预览调试”的文本框中输入对话，应用将根据对话生成相应的回答。 在调试过程中，单击右上角“调试”，可以查看当前会话或历史会话的运行结果与调用详情。 图9 查看调试结果 父主题： 编排与调用应用
101049 执行深度定制大模型生成的参数取值改写（后处理）失败时触发该错误码。 可检查后处理护栏代码。 101050 执行默认护栏（时间参数解析）失败时触发该错误码。 可检查支持处理的时间类型是否超出支持范围。 102053 提示词模板有误时触发该错误码。
大模型使用类 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中，为什么无法选中OBS的单个文件进行上传 如何查看预置模型的历史版本 训练/推理单元与算力的对应关系是什么
也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入的变量值信息，可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”，输出模型回复结果，用户可以基于预览的效果调整提示词文本和变量。 父主题： 撰写提示词
优化举例： 某数据集中，盐度（S）变量在下载过程中存在数据块缺失与数据块偏移的问题，如图1、图2，导致在训练过程中盐度损失异常，波动大且不收敛，如图3。在删除异常数据后，如图4，盐度正常收敛。因此在训练过程中存在损失波动较大的情况，可以考虑数据异常的情况。
管理盘古数据资产 数据资产介绍 数据资产是指在平台中被纳入管理、存储并可供使用的数据集。 数据资产包含以下两种形式： 用户自行发布的数据集。 用户可以通过“数据工程 > 数据发布 > 数据流通”功能将数据集发布为数据资产。
插件将以一个jsonl格式的文件下载至本地。 导入插件。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。
应用将以一个jsonl格式的文件下载至本地。 导入应用。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。
工作流将以一个jsonl格式的文件下载至本地。 导入工作流。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。
如何将本地的数据上传至平台 ModelArts Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS（对象存储服务），然后通过平台提供的“数据导入”功能，将存储在OBS中的数据导入至平台进行使用。
数据量足够，为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。
用户可以查看数据集的详细信息，包括数据格式、大小、配比比例等。同时，平台支持数据集的删除等管理操作，使用户能够统一管理数据集资源，以便在模型训练和分析时灵活调用，确保数据资产的规范性与安全性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
