检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工图片类数据集 加工图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建图片类数据集加工任务 创建图片类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
文本、视频、预测和其他类（自定义）数据集支持文件夹或单个文件导入，导入界面提示用户：“请选择文件夹或文件”。 图1 支持导入单个文件示例 图片、视频（事件检测）、气象类数据集仅支持文件夹导入，导入界面提示用户：“请选择文件夹”。 图2 不支持导入单个文件示例 父主题： 大模型使用类
提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码）。 数据通算单元 数据过滤 图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据加工。 数据通算单元 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。
加工图片类数据集 加工图片类数据集 标注图片类数据集 配比图片类数据集 父主题： 加工数据集
标注图片类数据集 创建图片类数据集标注任务 标注图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 数据标注功能支持创建标注任务、标注数据集（标注作业）、审核标注后的数据集（审核作业）与管理标注任务（任务管理）。其中，不同角色权限支持的功能及展示的前端界面略有差异，详见表1。
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至发布图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts St
其中，before文件夹：包含变化前的图片，每幅图片需与变化后的图片同名、同尺寸。 after文件夹：包含变化后的图片，每幅图片需与变化前的图片同名、同尺寸。 label文件夹：包含与变化前和变化后图片同名、同尺寸的PNG文件。每个像素值代表该位置对应的类别信息，类别应是连续的且从0开始。 视频分类 图片 导入
评估图片类数据集 发布图片类数据集前，ModelArts Studio大模型开发平台支持对数据集进行评估操作，帮助用户优化数据质量，确保数据满足高标准，提升模型性能。 如果无需使用数据评估操作，可跳过此章节至发布图片类数据集。 创建图片类数据集评估标准 ModelArts Stu
发布图片类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 图片类数据集支持发布的格式为： 标准格式：如图1，平台默认的格式。该格式的数据集可发布到资产中，但下游模型开发不可见。 图1 图片类数据集标准格式示例 盘古格式：如图2，训练盘古大
发布图片类数据集 评估图片类数据集 发布图片类数据集 父主题： 发布数据集
文本类加工算子能力清单 算子分类 算子名称 算子描述 所需资源类型 数据提取 WORD内容提取 从Word文档中提取文字，并保留原文档的目录、标题和正文等结构，不保留图片、表格、公式、页眉、页脚。 数据通算单元 TXT内容提取 从TXT文件中提取所有文本内容。 数据通算单元 CSV内容提取
数据智算单元 水印识别 识别视频中是否包含水印。 数据智算单元 字幕识别 识别视频中是否包含字幕。 数据智算单元 Logo识别 识别视频中是否包含Logo。 数据智算单元 视频黑边识别 识别视频中是否包含黑边。 数据智算单元 密集文字识别 识别视频中是否包含密集文字，达到密集文字面积占比的
练和预测需要使用特殊的Prompt，需要注意保持一致。 中控模块：盘古-NLP-N1-基础功能模型 说明：该模块需要实现意图识别分类的功能。当输入意图识别模块的是政务问题时，控制下游调用检索模块；当输入不需要调用检索的非政务问题时，不调用检索，直接模型回答问题。实现方法为通过微调获得一个具有二分类能力的模型。
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。 父主题： 数据集格式要求
ent开发平台。 单击左侧导航栏“工作台”，在“知识库”页签，单击右上角“创建知识库”。 在“创建知识库”页面，填写知识库名称与描述，单击图片可上传知识库图标，单击“下一步”。 在“文件类型”页面，选择文件类型。 导入文本文档数据。支持上传txt、doc、docx、pdf、ppt
Studio大模型开发平台，支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式以及支持多种文件格式导入，确保不同业务场景下的数据获取需求得到满足。 数据加工：平台提供强大的数据加工功能，可以对文本、视频、图片、气象类型的数据进行数据提取、过滤
Agent开发平台。 单击左侧导航栏“工作台”，在“插件”页签，单击右上角“创建插件”。 在“创建插件”页面，填写插件名称与插件描述，单击图片可上传插件图标，单击“下一步”。 在“配置信息”页面，参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。
jsonl 图片类 仅图片 jpg、jpeg、png、bmp、tar包 图片+Caption 图片格式支持：jpg、jpeg、png、bmp，所有图片需保存为tar包。 Caption格式支持：jsonl 图片+QA对 图片格式支持：jpg、jpeg、png、bmp，所有图片需保存为tar包。
果不佳？ 更多 技术专题 技术、观点、课程专题呈现 云图说 通过云图说，带您了解华为云 OCR基础课程 介绍文字识别服务的产品、技术指导和使用指南 OCR系列介绍 文字识别服务在计算机视觉的重要性、基本技术和最新进展 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！
支持数据发布的数据集类型 数据类型 数据评估 数据发布 文本类 √ √ 图片类 √ √ 视频类 √ √ 气象类 - √ 预测类 - √ 其他类 - √ ModelArts Studio大模型开发平台支持将文本类、图片类数据集发布为两种格式： 标准格式：适用于广泛的数据使用场景，满足大
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
