检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
样例 源文件如下图: 配置“CSV文件输入”算子,分隔符为“,”,生成两个字段A、B。 将A、B输出,结果如下: 父主题: Loader输入类算子
样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“长整型时间转换”算子,生成四个新字段C、D、E和F,类型分别为DATE、TIME、TIMESTAMP、BIGINT。 转换后,依次输出,结果如下: 父主题: Loader转换类算子
管理Loader算子的字段配置信息 操作场景 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。 关联操作 将输入算子的字段配置信息关联到输出算子中。 编辑操作 编辑算子配置参数中的字段信息。
样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“更新域”算子,当发现值为test时,更新值,在test后面加上good。 转换后,输出A和B,结果如下: 父主题: Loader转换类算子
样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“过滤行转换”算子,过滤掉含有test的行。 转换后,输入原字段,结果如下: 父主题: Loader转换类算子
配置“表输出”算子,将A、B和C输出到test_1表中: 输出结果如下: 父主题: Loader输出类算子
表1 视频类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 镜头拆分 根据视频中的镜头场景变化将长视频拆分为短视频片段,如果某个镜头片段的长度超过设定的时间阈值,该镜头片段将按时长进行进一步拆分。
Loader输出类算子
表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题: 数据集清洗算子介绍
样例 通过“CSV文件输入”算子,生成两个字段a_str和b_str。 源文件如下: 配置“Hive输出”算子,将a_str和b_str输出到Hive的表中。 执行成功后,查看表数据: 父主题: Loader输出类算子
通过“表输出”算子,将A、B和C输出到“test_1”表中: select * from test_1; 父主题: Loader输入类算子
通过“表输出”算子,将A、B和C输出到test_1表中: select * from test_1; 父主题: Loader输入类算子
通过“表输出”算子,将A、B和C输出到“test_1”表中: select * from test_1; 父主题: Loader输入类算子
背景引言 在博文差分近似图像导数算子之Laplace算子中,我们提到Laplace算子对通过图像进行操作实现边缘检测的时,对离散点和噪声比较敏感。
配置输出算子,输出到HDFS/OBS,结果如下: 父主题: Loader输入类算子
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子,算子能力清单见表1。
基础知识铺垫 关于 Sobel 算子、Scharr 算子、laplacian 算子在 这篇博客 中已经学习过了,第二次学习,可以针对算子卷积核进行一下稍微深入一点的理解。
算子使用指南 输入类算子 输出类算子 转换类算子 表达式说明 父主题: 数据管道
样例 源文件如下图: 配置“固定宽度文件输入”算子,生成三个字段A、B和C。 将三个字段依次输出,结果如下: 父主题: Loader输入类算子
转换类算子