发布数据集-华为云

盘古大模型 PanguLargeModels-数据集发布场景介绍:数据发布介绍

数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作，旨在通过数据质量评估和合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。数据发布不仅包括将数据发布为适合使用的格式，还要求根据任务需求评估数据集效果，并科学调整数据比例，确保数据集在规模、质量和内容上符合模型训练的标准。数据评估平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。数据配比数据配比是将多个数据集按特定比例组合并发布为“发布数据集”的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。数据流通数据流通是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。支持的发布格式为默认格式、盘古格式（适用于训练盘古大模型时）。目前，仅文本类和图片类数据集支持发布为“盘古格式”。通过这些功能，平台能够帮助用户科学管理和发布数据集，确保数据集质量符合大模型训练的需求，从而提高后续模型训练的效果。

盘古大模型 PanguLargeModels 发布数据集

盘古大模型 PanguLargeModels-数据集发布场景介绍:数据发布意义

数据发布意义数据发布不仅仅是将数据转换为不同格式，还包括根据任务需求评估数据集效果并调整数据比例，确保数据在规模、质量和内容上满足训练标准。具体而言，数据发布具备以下几个重要意义：确保数据质量和适配性数据发布功能通过数据评估和配比，确保发布的数据集满足大模型训练的高标准。这不仅包括数据规模的要求，还涵盖了数据质量、平衡性和代表性的保证，避免数据不均衡或不具备足够多样性的情况，进而提高模型的准确性和鲁棒性。提高数据的多样性和代表性通过合理的数据配比，帮助用户按特定比例组合多个数据集，确保数据集在不同任务场景下的多样性和代表性。这样可以避免过度偏向某一类数据，保证模型能够学习到多种特征，提升对各种情况的适应能力。多格式支持对于文本类、图片类数据集，平台支持多种数据发布格式，包括“默认格式”、“盘古格式”，以满足不同训练任务的需求。通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。提高训练效率发布符合标准的数据集可以大幅提升数据处理效率，减少后续调整工作，帮助用户快速进入模型训练阶段。数据集发布是数据工程中的关键环节，通过科学的数据比例调整和格式转换，确保数据集符合模型训练要求。通过平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择数据发布格式，保证数据的兼容性与一致性，从而为后续模型训练和应用部署打下坚实基础。

盘古大模型 PanguLargeModels 发布数据集

网络智能体-一键发布数据集:请求

请求请求样例 PUT https://ipaddr:port/softcomai/datalake/v1.0/dataSet/auto/oneStepPublish[{"origDatasetUid": "6a75cdf7569b47beae9332748fbb44f1","businessName": "test00600","entityName": "test00600","progressId":"D_1619427705462_78616298465","expireDate":"2024-04-26 23:59:59"}] 参数说明表1 Body参数说明参数名是否必选参数类型备注 origDatasetUid 是 String 元数据ID。 businessName 是 String 数据集名称。 entityName 是 String 实体名称。 progressId 否 String 进程ID。 expireDate 否 String 过期时间。

网络智能体自动发布数据集

云服务器内容精选

发布数据集

7*24

备案

专业服务

退订

建议反馈

售前咨询热线