检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置条件分支算子 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断，根据定义的表达式来确定下一步执行的分支。注意，多个分支满足条件时仅执行第一个满足条件的分支。 表1 条件分支算子 参数 说明 分支1 条件类型 选择条件类型。
bigdata 父主题： 转换算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件见下图： 配置“EL操作转换”算子，生成C、D、E和F四个字段： 依次输出这六个字段，结果如下图： 父主题： Loader转换类算子
算子级调优 算子级调优介绍 一个查询语句要经过多个算子步骤才会输出最终的结果。由于个别算子耗时过长导致整体查询性能下降的情况比较常见。这些算子是整个查询的瓶颈算子。
算子级调优 算子级调优介绍 一个查询语句要经过多个算子步骤才会输出最终的结果。由于个别算子耗时过长导致整体查询性能下降的情况比较常见。这些算子是整个查询的瓶颈算子。
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“随机值转换”算子，生成C、D、E三个字段： 转换后，按顺序输入这五个字段： 可以发现，每次生成的随机值都不一样。 父主题： Loader转换类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“增加常量字段”算子，增加两个字段C和D： 转换后，将A、B、C和D按顺序输出，结果如下： 父主题： Loader转换类算子
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。
样例 源文件如下： 配置“HTML输入”算子，生成三个字段A、B和C： 依次输出这三个字段，结果如下： 父主题： Loader输入类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“Spark输出”算子，将A和B输出到SparkSQL的表中。 父主题： Loader输出类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“长整型时间转换”算子，生成四个新字段C、D、E和F，类型分别为DATE、TIME、TIMESTAMP、BIGINT。 转换后，依次输出，结果如下： 父主题： Loader转换类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“更新域”算子，当发现值为test时，更新值，在test后面加上good。 转换后，输出A和B，结果如下： 父主题： Loader转换类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“过滤行转换”算子，过滤掉含有test的行。 转换后，输入原字段，结果如下： 父主题： Loader转换类算子
配置“表输出”算子，将A、B和C输出到test_1表中： 输出结果如下： 父主题： Loader输出类算子
表1 视频类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 镜头拆分 根据视频中的镜头场景变化将长视频拆分为短视频片段，如果某个镜头片段的长度超过设定的时间阈值，该镜头片段将按时长进行进一步拆分。
Loader输出类算子
样例 通过“CSV文件输入”算子，生成两个字段a_str和b_str。 源文件如下： 配置“Hive输出”算子，将a_str和b_str输出到Hive的表中。 执行成功后，查看表数据： 父主题： Loader输出类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“空值转换”算子，如下图： 转换后，将A和B的值输出后的结果如下： 父主题： Loader转换类算子
样例 通过“CSV文件输入”算子，生成三个字段A、B和C。 源文件如下： 配置“字符串空格清除转换”算子，生成三个新字段D、E和F。 转换后，依次输出这六个字段，结果如下： 父主题： 转换算子
算子使用指南 输入类算子 输出类算子 转换类算子 表达式说明 父主题： 数据管道
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
