检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在完成数据清洗后，如果无需使用数据标注功能，可直接在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工视频类数据集
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
视频类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。
在完成数据清洗后，在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工气象类数据集
在完成数据清洗后，如果无需使用数据合成与数据标注功能，可直接在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工文本类数据集
在完成数据清洗后，如果无需使用数据标注功能，可直接在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工图片类数据集
数据集清洗算子介绍 文本类清洗算子能力清单 视频类清洗算子能力清单 图片类清洗算子能力清单 气象类清洗算子能力清单 父主题： 加工数据集
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
数据集加工场景介绍 数据加工介绍 ModelArts Studio大模型开发平台提供数据加工功能，涵盖了数据清洗、数据合成和数据标注关键操作，旨在确保原始数据符合业务需求和模型训练的标准，是数据工程中的核心环节。 数据清洗 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练
加工气象类数据集 清洗气象类数据集 父主题： 加工数据集
该模型属于异常检测模型，用于识别数据集中的异常或离群点，常应用于安全、质量控制等领域。 矿山行业：进行设备故障检测，例如监控设备运行数据，识别异常行为，防止设备故障。 电力行业：进行电网异常检测，例如监控电网运行状态，识别异常情况，防止电网故障。 2024年12月发布的版本，支持识别数据集中不符合预期模式或行为的数据点。
在左侧导航栏中选择“数据工程 > 数据加工 > 加工数据集”。 单击数据集名称查看加工数据集的基本信息、数据预览、数据血缘以及操作记录。 在“基本信息”页签可查看数据集的详细信息。 在“数据预览”页签可查看加工后的数据内容。 在“数据血缘”页签查看该数据集所经历的操作，如导入、合成等操作。
加工视频类数据集 清洗视频类数据集 标注视频类数据集 父主题： 加工数据集
确优化数据质量，确保数据满足高标准，提升模型性能。 评估图片类数据集、评估视频类数据集 配比图片类数据集 数据配比是将多个数据集按特定比例组合并发布为“发布数据集”的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 配比图片类数据集 流通图片、视频类数据集
Studio大模型开发平台，支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式以及支持多种文件格式导入，确保不同业务场景下的数据获取需求得到满足。 数据清洗：平台提供强大的数据清洗功能，可以对文本、视频、图片、气象类型的数据进行数据提取、过滤、转
从而精确优化数据质量，确保数据满足高标准，提升模型性能。 配比数据集 数据配比是将多个数据集按特定比例组合并发布为“发布数据集”的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 流通数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。
应用 功能介绍 通过调用创建好的应用API，输入问题，将得到应用执行的结果。 URI 获取URI方式请参见请求URI。 POST /v1/{project_id}/agent-run/agents/{agent_id}/conversations/{conversation_id}
通过数据加工操作，平台能够有效清理噪声数据、标准化数据格式，提升数据集的整体质量。 数据发布：平台提供了数据评估、数据配比、数据流通的发布操作，旨在通过数据质量评估与合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，并促进数据的高效流通与应用。 数据评估：数
编排应用 Agent平台支持为应用配置插件、工作流技能，支持接入知识库，还可增加应用的对话体验，详见创建与管理插件、编排工作流、创建与管理知识库。 应用编排流程见表1。 表1 应用编排流程 操作步骤 说明 步骤1：创建应用 创建一个新应用。 步骤2：配置Prompt 在应用中配置大模型所需的Prompt。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
