检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
流通图片类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 创建文本类数据集流通任务步骤如下： 登录ModelArts
加工图片类数据集 清洗图片类数据集 标注图片类数据集 父主题： 加工数据集
标注图片类数据集 创建图片类数据集标注任务 标注图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建图片类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
其中，before文件夹：包含变化前的图片，每幅图片需与变化后的图片同名、同尺寸。 after文件夹：包含变化后的图片，每幅图片需与变化前的图片同名、同尺寸。 label文件夹：包含与变化前和变化后图片同名、同尺寸的PNG文件。每个像素值代表该位置对应的类别信息，类别应是连续的且从0开始。 视频分类 图片 导入
评估标准创建完成后可以在“人工评估标准”页面查看创建的评估标准，并支持编辑与删除操作。 创建图片类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建图片类数据集评估任务前，请参考加工图片类数据集，生成一个“加工数据集”。 创建图片类数据集评估任务步骤如下： 登录ModelArts Studio大
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts St
清洗图片类数据集 清洗图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建图片类数据集清洗任务 创建图片类数据集清洗任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
通过语种识别模型得到图文对的文本语种类型，“待保留语种”之外的图文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值，如果超过则去重。 图片去重 通过把图片结构化处理后，过滤重复的图片/图文对数据。 数据打标 图片鉴黄评分 对图片的涉黄程度
发布图片类数据集 评估图片类数据集 配比图片类数据集 流通图片类数据集 父主题： 发布数据集
训练CV大模型所需数据量 初期启动训练时，每种模型类别先提供1000张已标注的图片数据进行训练，后续根据验证结果再动态提供数据迭代。 图片中需要识别的目标是清晰可见的，没有遮挡、模糊等特征破坏问题。图片中的目标大小显著，目标物体在不放大图片的情况下人眼清晰可见。 画面光照良好，如果是在恶劣天气、户外
该模型属于物体检测模型，旨在识别图像中的所有感兴趣目标，定位其位置并确定其类别。适用于各种任务，如：积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等。 2024年12月发布的版本，支持全量微调、在线推理。 物体检测-N模型为中参数量模型，在保证计算效率的同时，具备较强的特征识别能力，提供高效的性能表现。
ent开发平台。 单击左侧导航栏“工作台”，在“知识库”页签，单击右上角“创建知识库”。 在“创建知识库”页面，填写知识库名称与描述，单击图片可上传知识库图标，单击“下一步”。 在“文件类型”页面，选择文件类型。 导入文本文档数据。支持上传txt、doc、docx、pdf、ppt
按照句子的过滤粒度，自动识别段落结尾处的内容是否完整，如果不完整，则过滤。 广告数据过滤 按照句子的过滤粒度，删除文本中包含广告数据的句子。 QA对过滤 过滤包含以下情况的QA对： 问题不是string格式。 回答为空。 回答无意义。 语种过滤 通过语种识别模型得到文档的语言类型，筛选所需语种的文档。
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作，不支持数据加工操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。
练和预测需要使用特殊的Prompt，需要注意保持一致。 中控模块：盘古-NLP-N1-基础功能模型 说明：该模块需要实现意图识别分类的功能。当输入意图识别模块的是政务问题时，控制下游调用检索模块；当输入不需要调用检索的非政务问题时，不调用检索，直接模型回答问题。实现方法为通过微调获得一个具有二分类能力的模型。
Agent开发平台。 单击左侧导航栏“工作台”，在“插件”页签，单击右上角“创建插件”。 在“创建插件”页面，填写插件名称与插件描述，单击图片可上传插件图标，单击“下一步”。 在“配置信息”页面，参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。
Studio大模型开发平台，支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式以及支持多种文件格式导入，确保不同业务场景下的数据获取需求得到满足。 数据清洗：平台提供强大的数据清洗功能，可以对文本、视频、图片、气象类型的数据进行数据提取、过滤
不佳？ 更多 技术专题 技术、观点、课程专题呈现 云图说 通过云图说，带您了解华为云 OCR基础课程 介绍文字识别服务的产品、技术指导和使用指南 OCR系列介绍 文字识别服务在计算机视觉的重要性、基本技术和最新进展 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！
jsonl、csv 图片类 仅图片 jpg、jpeg、png、bmp、tar包 图片+Caption 图片格式支持：jpg、jpeg、png、bmp，所有图片需保存为tar包。 Caption格式支持：jsonl 图片+QA对 图片格式支持：jpg、jpeg、png、bmp，所有图片需保存为tar包。
数据类型 数据评估 数据配比 数据流通 文本类 √ √ √ 图片类 √ √ √ 视频类 √ - √ 气象类 - - √ 预测类 - - √ 其他类 - - √ ModelArts Studio大模型开发平台支持将文本类、图片类数据集发布为两种格式： 默认格式：适用于广泛的数据使用场景，满足大多数模型训练的标准需求。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
