检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
种形式的数据，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传，所有视频可以放在多个文件夹下，每个文件夹下可以同时包含mp4或avi格式的视频。 单个文件大小不超过50GB，文件数量最多1000个。
流通视频类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“默认格式”。 创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程构建数据集
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作，不支持数据加工操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。
使用数据工程构建CV大模型数据集 CV大模型支持接入的数据集类型 盘古CV大模型支持接入图片类、视频类、其他类数据集，，不同模型所需数据见表1，数据集格式要求请参见图片类数据集格式要求、视频类数据集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景
图片格式支持：jpg、jpeg、bmp 标注格式支持：png 视频分类 图片格式支持：jpg、jpeg、png、bmp 视频类 视频 mp4、avi 事件监测 视频格式支持：mp4、avi，每个视频时长大于128s，FPS>=10 标注格式支持：json 气象类 气象数据 nc、cdf、netcdf、g
视频类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。 用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后，将生成“原始数据集”被平台统一管理，用于后续加工或发布操作。 创建导入任务 创建导入任务前，请先按照数据集格式要求提前准备数据。
数据工程 ModelArts Studio开发平台提供了全面的数据工程功能。该模块涵盖数据获取、加工、标注、评估和发布等关键环节，帮助用户高效构建高质量的训练数据集，推动AI应用的成功落地。具体功能如下： 数据获取：用户可以轻松将多种类型的数据导入ModelArts Studio
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
基于NL2JSON助力金融精细化运营 场景介绍 在金融场景中，客户日常业务依赖大量报表数据来支持精细化运营，但手工定制开发往往耗费大量人力。因此，希望借助大模型消除语义歧义性，识别用户查询意图，并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输
数据集发布场景介绍 数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作，旨在通过数据质量评估和合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。 数据发布不仅包括将数据发布
知识库介绍 平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。
大模型开发基本流程介绍 大模型（Large Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。
打造短视频营销文案创作助手 场景介绍 随着互联网的发展，短视频已成为了日常生活中不可或缺的一部分，凭借其独特的形式和丰富的内容吸引了大量流量，并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案，以提升营销效果和效率。在这种场景下，用户只需提供
构造请求 本节介绍REST API请求的组成，并以调用服务的获取用户Token接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987 。 请求示例如图1，一个请求主要由请求U
Agent开发常见报错与解决方案 工作流常见错误码与解决方案 工作流常见报错及解决方案请详见表1。 表1 工作流节点常见报错与解决方案 模块名称 错误码 错误描述 解决方案 开始节点 101501 开始节点全局配置未传入值。 开始节点错误，请联系客服解决。 结束节点 101531
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
