检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。
发布文本类数据集 评估文本类数据集 配比文本类数据集 流通文本类数据集 父主题： 发布数据集
加工文本类数据集 清洗文本类数据集 合成文本类数据集 标注文本类数据集 父主题： 加工数据集
发布视频类数据集 评估视频类数据集 流通视频类数据集 父主题： 发布数据集
数据集清洗算子介绍 文本类清洗算子能力清单 视频类清洗算子能力清单 图片类清洗算子能力清单 气象类清洗算子能力清单 父主题： 加工数据集
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts St
在左侧导航栏中选择“数据工程 > 数据发布 > 发布数据集”。 单击数据集名称查看发布数据集的基本信息、数据预览、数据血缘以及操作记录。 在“基本信息”页签可查看数据集的详细信息。 在“数据预览”页签可查看发布后的数据内容。 在“数据血缘”页签查看该数据集所经历的操作，如导入、合成等操作。
在完成数据清洗后，如果无需使用数据标注功能，可直接在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工图片类数据集
可部分标注”，则可在标注部分数据后，单击右上角的“提交全部标注数据”，让AI大模型自动标注剩余数据。 在完成数据标注后，如果无需进行标注审核，可直接在“数据标注 > 任务管理”页面单击“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 审核标注后的图片类数据集
数据集加工场景介绍 数据加工介绍 ModelArts Studio大模型开发平台提供数据加工功能，涵盖了数据清洗、数据合成和数据标注关键操作，旨在确保原始数据符合业务需求和模型训练的标准，是数据工程中的核心环节。 数据清洗 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练
在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“图片 > 图片+Caption”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。由于数据工程需要支持对
节至创建图片类数据集评估任务。 创建图片类数据集评估标准步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据评估”，在“人工评估标准”页签，平台预置了图片类数据集评估标准“图片数据质量标准
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。
上传文件限xlsx格式。 数据行数不小于10行，不大于50行。 数据不允许相同表头，表头数量小于20个。 数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式如下： 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts
发布图片类数据集 评估图片类数据集 配比图片类数据集 流通图片类数据集 父主题： 发布数据集
加工图片类数据集 清洗图片类数据集 标注图片类数据集 父主题： 加工数据集
如何将本地的数据上传至平台 ModelArts Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS（对象存储服务），然后通过平台提供的“数据导入”功能，将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下： 上传数据至OBS：将本地数据上传至OBS服务，请详见通过控制台快速使用OBS。
结果存储路径 用于存放模型推理结果的OBS路径。 输入数据 支持选择用于存放作为初始场数据的文件路径。 预报天数 支持选择以起报时间点为开始，对天气要素或降水进行预报的天数，范围为1~14天。 起报时间 支持选择多个起报时间作为推理作业的开始时间，每个起报时间需为输入数据中存在的时间点。
of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto 参数 参数类型 描述
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
