检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工图片类数据集 加工图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建图片类数据集加工任务 创建图片类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
标注图片类数据集 创建图片类数据集标注任务 标注图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 数据标注功能支持创建标注任务、标注数据集（标注作业）、审核标注后的数据集（审核作业）与管理标注任务（任务管理）。其中，不同角色权限支持的功能及展示的前端界面略有差异，详见表1。
文本、视频、预测和其他类（自定义）数据集支持文件夹或单个文件导入，导入界面提示用户：“请选择文件夹或文件”。 图1 支持导入单个文件示例 图片、视频（事件检测）、气象类数据集仅支持文件夹导入，导入界面提示用户：“请选择文件夹”。 图2 不支持导入单个文件示例 父主题： 大模型使用类
加工图片类数据集 加工图片类数据集 标注图片类数据集 配比图片类数据集 父主题： 加工数据集
其中，before文件夹：包含变化前的图片，每幅图片需与变化后的图片同名、同尺寸。 after文件夹：包含变化后的图片，每幅图片需与变化前的图片同名、同尺寸。 label文件夹：包含与变化前和变化后图片同名、同尺寸的PNG文件。每个像素值代表该位置对应的类别信息，类别应是连续的且从0开始。 视频分类 图片 导入
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至发布图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts St
评估图片类数据集 发布图片类数据集前，ModelArts Studio大模型开发平台支持对数据集进行评估操作，帮助用户优化数据质量，确保数据满足高标准，提升模型性能。 如果无需使用数据评估操作，可跳过此章节至发布图片类数据集。 创建图片类数据集评估标准 ModelArts Stu
算子描述 数据提取 图文提取 提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码）。 数据过滤 图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据加工。 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。
发布图片类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 图片类数据集支持发布的格式为： 标准格式：如图1，平台默认的格式。该格式的数据集可发布到资产中，但下游模型开发不可见。 图1 图片类数据集标准格式示例 盘古格式：如图2，训练盘古大
发布图片类数据集 评估图片类数据集 发布图片类数据集 父主题： 发布数据集
PDF内容提取 从PDF中提取文本，转化为结构化数据，支持文本、表格、公式等内容提取。 JSON内容提取 提取JSON文件中的键值对信息。 HTML内容提取 基于标签路径提取HTML数据内容，并将其他与待提取标签路径无关的内容删除。 电子书内容提取 从电子书中提取出所有文本内容。
Logo识别 识别视频中是否包含Logo。 视频黑边识别 识别视频中是否包含黑边。 密集文字识别 识别视频中是否包含密集文字，达到密集文字面积占比的视频则为含密集文字视频，一般裁剪面积占比≥7%为密集文字视频。 父主题： 数据集加工算子介绍
Studio大模型开发平台，支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式以及支持多种文件格式导入，确保不同业务场景下的数据获取需求得到满足。 数据加工：平台提供强大的数据加工功能，可以对文本、视频、图片、气象类型的数据进行数据提取、过滤、转换、打标签
数据集加工算子介绍 文本类加工算子介绍 视频类加工算子介绍 图片类加工算子介绍 气象类加工算子介绍 父主题： 加工数据集
ent开发平台。 单击左侧导航栏“工作台”，在“知识库”页签，单击右上角“创建知识库”。 在“创建知识库”页面，填写知识库名称与描述，单击图片可上传知识库图标，单击“下一步”。 在“文件类型”页面，选择文件类型。 导入文本文档数据。支持上传txt、doc、docx、pdf、ppt
jsonl 图片类 仅图片 jpg、jpeg、png、bmp、tar包 图片+Caption 图片格式支持：jpg、jpeg、png、bmp，所有图片需保存为tar包。 Caption格式支持：jsonl 图片+QA对 图片格式支持：jpg、jpeg、png、bmp，所有图片需保存为tar包。
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。 父主题： 数据集格式要求
高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的获取、加工、合成、标注、配比、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 数据工程操作流程见图1、表1。
响应参数的名称，参数描述会作为大模型解析大模型输出结果的依据。 参数类型 该参数值的数据类型，String、Integer、Number等多种类型支持选择。 是否提取 开启后则该参数必须提取到，关闭则该参数允许为空或者使用默认值。 图2 填写API请求、响应参数 父主题： 创建与管理插件
支持数据发布的数据集类型 数据类型 数据评估 数据发布 文本类 √ √ 图片类 √ √ 视频类 √ √ 气象类 - √ 预测类 - √ 其他类 - √ ModelArts Studio大模型开发平台支持将文本类、图片类数据集发布为两种格式： 标准格式：适用于广泛的数据使用场景，满足大
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
