检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“其他 > 自定义”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前其他类数据集仅支持发布默认格式。
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作，不支持数据加工操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。
在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前预测类数据集仅支持发布默认格式。
录。 在“基本信息”页签可查看数据集的详细信息。 在“数据预览”页签可查看发布后的数据内容。 在“数据血缘”页签查看该数据集所经历的操作，如导入、合成等操作。 在“操作记录”页签可以查看数据集所经历的操作及状态等信息。 单击操作列的“删除”，可删除不需要的数据集。 如果需要恢复删
0个。 网页 html 单个文件大小不超过50GB，文件数量最多1000个。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下： {"text":"盘古大模型，是华为推出的盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"}
发布图片类数据集 评估图片类数据集 配比图片类数据集 流通图片类数据集 父主题： 发布数据集
加工图片类数据集 清洗图片类数据集 标注图片类数据集 父主题： 加工数据集
在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“气象 > 气象数据”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前气象类数据集仅支持发布默认格式。
录。 在“基本信息”页签可查看数据集的详细信息。 在“数据预览”页签可查看加工后的数据内容。 在“数据血缘”页签查看该数据集所经历的操作，如导入、合成等操作。 在“操作记录”页签可以查看数据集所经历的操作及状态等信息。 单击操作列的“删除”，可删除不需要的数据集。 如果需要恢复删
训练的标准，是数据工程中的核心环节。 数据清洗 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 数据合成 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传，所有视频可以放在多个文件夹
Studio大模型开发平台针对文本类数据集预设了一套基础评估标准，涵盖了数据准确性、完整性、一致性、格式规范等多个维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建文本类数据集评估任务。 创建文本类数据集评估标准步骤如下： 登录ModelArts
Studio大模型开发平台针对视频类数据集预设了一套基础评估标准，涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建视频类数据集评估任务。 创建视频类数据集评估标准步骤如下： 登录ModelArts
nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2 天气数据通常包含全球或区域性的气象变量，如温度（T）、气压（P）、风速（U、V）等。在文件中，这些变量可能按时间、地理范围和气压层次进行组织。示例如下： {"geo_range": {"lat":
目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。
在数据导入过程中，平台仅支持通过OBS服务导入文件夹类型的数据，而不支持直接导入单个文件。 您需要将文件整理到文件夹中，并选择该文件夹进行上传。 父主题： 大模型使用类问题
工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成清洗。 在完成数据清洗后，如果无需使用数据标注功能
其中，单个cls类别目录下的每个三级目录为一个样本，例如cls1文件的样本为aa和bb。 所有样本文件夹（如 aa）包含的图片数量相等，例如cls1样本aa和bb、cls1样本aa和cls2的样本cc。 每个样本文件夹（如 aa）可以视为一个视频片段，其中每张图片代表视频的一个帧，将这些帧作为一个序列来
工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成清洗。 在完成数据清洗后，如果无需使用数据合成与数
100)，评分≥90分的视频可视为涉政视频。 运动幅度评分 通过计算每个像素在每一帧中的移动范围进行评分，识别运动幅度过快（如＞100光流）或过慢（如≤2光流）的视频，数值越大表示运动过快。 质量基础评分 对视频的基础质量（清晰度、亮度、模糊、画面抖动重影、低光过曝、花屏等）进行评分。分值范围(0
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
