如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
转换算子说明 转换算子构建包括：①YML配置文件 ②实现功能的python脚本TAR包 ①YML文件示例： ### python算子示例 id: FormatConvert2 name: 自定义算子格式转化 description: 自定义算子格式转化 author: Huawei
数据集加工算子介绍 文本类加工算子介绍 视频类加工算子介绍 图片类加工算子介绍 气象类加工算子介绍 音频类加工算子介绍 父主题： 加工数据集
在“创建自定义算子”页面，单击“下载样例”可查看算子配置文件与算子包的规格说明，使用OBS服务上传算子配置文件与算子包，设置空间可见性后，单击右下角“确定”，完成自定义算子的创建。
气象类加工算子介绍 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。
文本类加工算子介绍 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。
视频类加工算子介绍 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。
音频类加工算子介绍 平台支持音频类数据集的加工操作，音频类加工算子能力清单见表1。 表1 音频类加工算子能力清单 算子分类 算子名称 算子描述 数据转换 噪声添加 给音频添加噪声 噪声抑制 移除音频中的纯噪声片段并进行降噪。
图片类加工算子介绍 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类加工算子，算子能力清单见表1。
显示该加工任务包含的算子。 图4 数据集加工任务总览 算子运行详情日志 记录算子在运行时关键节点的信息。 图5 算子运行详情日志 MRS/MA任务运行日志 记录算子内部MRS/MA任务运行的详细信息。 图6 MRS/MA任务运行日志 父主题： 加工数据集
python算子目录 | +--- 图片003 # python算子目录 | +--- CSV文件 支持转换的CV数据集类型 仅支持自定义数据集转换成图片（物体检测、图像分类）数据集。
图2 测试数据 返回导航栏，选择“数据工程 > 数据加工 > 加工任务 > 管理加工算子 > 创建自定义算子”，如图3所示。 图3 创建自定义算子 传入对应的YML文件和TAR包，构建格式转换算子。 返回导航栏，选择“数据工程 > 数据加工>加工任务> 创建加工任务”。
对于文本类数据集，可选择的加工算子请参见文本类加工算子介绍。 在左侧“添加算子”分页勾选所需算子。 在右侧“加工步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图2 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。
数据加工 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。
对于视频类数据集，可选择的加工算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 平台支持选择预置算子或自定义算子，如果使用自定义算子，创建步骤见自定义数据集加工算子。 在右侧“加工步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。
加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 加工预测类数据集 加工音频类数据集 加工其他类数据集 自定义数据集加工算子 使用日志查看数据集加工进度 管理加工后的数据集 管理加工任务资源 加工任务生成数据集
对于气象类数据集，可选择的加工算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“加工步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图2 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。
对于音频类数据集，可选择的加工算子请参见音频类加工算子介绍。 在左侧“添加算子”分页勾选所需算子。 在右侧“加工步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图2 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。
对于图片类数据集，可选择的加工算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“加工步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图2 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。
在左侧“添加算子”分页勾选所需算子。 对于其他类数据集，平台仅支持选择自定义算子，其创建步骤见自定义数据集加工算子。 在右侧“加工步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。
登录“我的凭证 > 访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
