盘古大模型 PANGULARGEMODELS-图片类数据集格式要求

时间：2024-12-03 10:24:59

图片类数据集格式要求

ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入图片、图片+Caption、图片+QA对三种类型的数据，具体格式要求详见表1。

表1 图片类数据集格式要求
文件内容	文件格式	文件要求
图片	tar、图片目录	图片：支持jpg、jpeg、png、bmp类型，单张图片大小不能超过5M，图片总大小不能超过500MB。 tar：tar包内图片支持jpg、jpeg、png、bmp图片类型，每个tar包不超过500MB。数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。
图片+Caption	图片支持tar，Caption支持jsonl	图片+Caption指的是一张图片和与之相关的文字描述，Caption是对图片内容的简短说明或解释，帮助人们理解图片所表达的信息。图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。 Caption：jsonl格式，图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，具体格式示例如下： {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）","caption":"图片对应的文本描述"} 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB，具体格式示例如下：
图片+QA对	图片支持tar，QA对支持jsonl	图片+QA对是指将一张图片和与之相关的问题及答案配对在一起，用于训练模型让其能够理解图片内容并回答与图片相关的问题。图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。 QA对：jsonl格式，图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，具体格式示例如下： {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）","conversations":[{"question":"问题1","answer":"回答1"},{"question":"问题2","answer","回答2"}]} 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB，具体格式示例如下：