检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
乱码和无意义的字符����� 图片类加工算子能力清单 表2 图片类加工算子功能表 算子分类 算子名称 算子描述 数据过滤 图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据清洗。 图片去重 通过把图片结构化处理后,过滤重复的图片/图文对数据。 数据打标 图片鉴黄评分 对图片的涉黄程度进
识别视频中是否包含水印。 字幕识别 识别视频中是否包含字幕。 Logo识别 识别视频中是否包含Logo。 视频黑边识别 识别视频中是否包含黑边。 密集文字识别 识别视频中是否包含密集文字,达到密集文字面积占比的视频则为含密集文字视频,一般裁剪面积占比≥7%为密集文字视频。 父主题: 数据集加工算子介绍
从Word文档中提取文字,并保留原文档的目录、标题和正文等结构,不保留图片、表格、公式、页眉、页脚。 TXT内容提取 从TXT文件中提取所有文本内容。 CSV内容提取 从CSV文件中读取所有文本内容,并按该文件内容类型模板KEY值生成匹配的JSON格式数据。 PDF内容提取 从PDF中提取内容转换为结构化数据。
格式示例如下: 图片+QA对 图片支持tar,QA对支持jsonl 图片+QA对是指将一张图片和与之相关的问题及答案配对在一起,用于训练模型让其能够理解图片内容并回答与图片相关的问题。 图片:图片以tar包格式存储,可以多个tar包。tar包存储原始的图片,每张图片命名要求唯一(如abc
为什么微调后的盘古大模型的回答中会出现乱码? 更多 技术专题 技术、观点、课程专题呈现 云图说 通过云图说,带您了解华为云 OCR基础课程 介绍文字识别服务的产品、技术指导和使用指南 OCR系列介绍 文字识别服务在计算机视觉的重要性、基本技术和最新进展 智能客服 您好!我是有问必答知识渊博
在金融场景中,客户日常业务依赖大量报表数据来支持精细化运营,但手工定制开发往往耗费大量人力。因此,希望借助大模型消除语义歧义性,识别用户查询意图,并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输入抽取关键信息并转换为JSON格式输出,以供下游操作,从而满足该场景下客户需求。 金
大模型(LLM)通过对海量公开数据(如互联网和书籍等语料)进行大规模无监督预训练,具备了强大的语言理解、生成、意图识别和逻辑推理能力。这使得大模型在智能问答系统中表现出色:用户输入问题后,大模型依靠其强大的意图理解能力和从大规模预训练语料及通用SFT中获得的知识,生成准确而全面的回答。然而,依赖通用大模型自
列“移交”设置移交人员以及移交的数量。 图5 标注作业 图6 移交标注任务 进入标注页面后,逐一对数据进行标注。 以标注图片Caption数据为例,逐一标注图片的Caption描述,如图7,右下角展示了AI预标注的Caption。 图7 图片类数据集标注示例 一条数据标注完成后,
创建图片类数据集评估标准 ModelArts Studio大模型开发平台针对图片数据集预设的一套评估标准,涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建图片类数据集评估任务。
创建图片类数据集评估任务 创建图片类数据集评估任务前,请先完成创建图片类数据集评估标准。 创建图片类数据集评估任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”,单击界面右上角“创建评估任务”。
单击操作列“报告”可以查看详细的质量评估报告。 图2 查看数据集评估报告 在“查看评估报告”页面,可以查看评估概览、通过率、评估类别分布等信息。 如果数据集未完成全部评估,可以单击右上角“继续评估”,评估剩余的数据。 图3 查看评估报告详情 父主题: 评估图片类数据集
创建图片类数据集加工任务 创建图片类数据集加工任务前,请先完成“原始数据集”的创建与上线,具体步骤请参见导入数据至盘古平台。 创建图片类数据集加工任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注审核” 在“标注审核”页面,单击操作列“审核”可进入审核页面审核数据。 图2 标注审核 如果需要将该审核任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务
上线加工后的图片类数据集 加工后的图片类数据集需要执行上线操作,用于后续的数据标注、评估、发布任务,具体步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”,在数据集操作列单击“上线”,执行上线操作。
在“标注管理”页面,单击操作列的“上线”对数据集进行上线。 图2 上线标注后的数据集 对不再使用的数据集可在操作列执行下线操作。若对当前标注数据集已执行发布操作发布图片类数据集,则不可将该标注数据集下线。 父主题: 标注图片类数据集
在“来源数据集”分页,选择“文件内容”为“图片+Caption”的数据集,选择标注项,可开启“AI预标注”功能,单击“下一步”。 图1 选择标注数据集 在“创建标注任务”页面,可配置标注分配、标注审核和标注任务的基本信息,单击“完成创建”。 图2 配置标注分配、标注审核、基本信息 当
加工图片类数据集 创建图片类数据集加工任务 上线加工后的图片类数据集 父主题: 加工数据集
标注图片类数据集 创建图片类数据集标注任务 审核图片类数据集标注结果 上线标注后的图片类数据集 父主题: 标注数据集
务场景选择“图片+Caption”、“图片+QA对”类型的数据。 图2 创建图片类数据集发布任务 设置发布方式。图片类数据集可选两种发布方式:“单个数据集”、“混合数据集”。选择数据集时,默认选择当前空间数据集,如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 若选
被标注文件的文件名。 size 是 表示图像的像素信息。 width:必选字段,图像的宽度。 height:必选字段,图像的高度。 depth:必选字段,图像的通道数。 图像的通道数是指图像中每个像素的颜色信息的维度。常用的RGB图像默认有3个通道。3通道表示彩色图像,每个像素有三个值表示红、