检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除属性 算子简介 名称：删除属性 功能说明：从数据中删除指定的属性。 约束：下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。
约束：下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。
输出类算子 数据存储输出 DIS输出 实时分析输出 父主题： 算子使用指南
算子配置 基础配置项 算子名称： 配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。
数据存储输出 算子简介 名称： 数据存储输出 功能说明： 数据输出到指定的数据存储。 约束：下游不允许接任何算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性。
算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： aaa,product bbb,Bigdata 配置“文件输出”算子，分隔符为“,”，将A和B输出到文件中： 输出后的结果如下： aaa,product bbb,Bigdata 父主题： 输出算子
数据扁平 算子简介 名称：数据扁平 功能说明：数据扁平算子，把数据流中的嵌套Json字段转换为多个独立字段。 约束：下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。
数据聚合 算子简介 名称： 数据聚合 功能说明： 数据聚合算子，将数据按窗口周期进行汇聚计算，以达到规约数据的目的。 约束：下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性。
选择属性 算子简介 名称：选择属性 功能说明：在输入数据中选择保留的属性，未选择的属性被删除。 约束：下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。
实时分析输出 算子简介 将经过数据管道清洗后的数据输出到实时分析，作为实时分析的数据来源。 算子配置 算子配置项如图所示： 算子名称：用户指定这个算子的名称。 管道输出数据名称：用户声明这个输出的名称，以便在实时分析作业的“管道数据输入”算子中使用。
算子配置 基础配置项 算子名称： 配置项英文名：name 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。
算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。
转换算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题： 算子帮助
API数据源 算子简介 名称： API接入数据源 功能说明： 通过API进行数据上报到pipeline的数据源。 约束：下游不允许对接数据源。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性。
算子下推（NDP） 功能介绍 父主题： 常见内核功能
after boolean 是否必须在对应算子之后。 可选参数。 notBefore boolean 是否不能在对应算子前面。 notAfter boolean 是否不能在对应算子后面。 first boolean 是否必须为首个算子。
样例 通过“CSV文件输入”算子，生成三个字段A、B和C。 源文件如下图： 配置“拼接转换”算子，“分隔符”为空格，生成新字段D： 转换后，依次输出A、B、C和D，结果如下： 父主题： 转换算子
样例 通过“CSV文件输入”算子，生成一个字段A。 源文件如下： 配置“分隔转换”算子，“分隔符”为空格，生成三个字段B、C和D： 转换后，依次输出A、B、C和D，结果如下： 父主题： 转换算子
Loader算子说明 转换流程 Loader读取源端数据，通过输入算子将数据按规则逐一转换成字段，再通过转换算子，对这些字段做清洗或转换，最后通过输出算子将处理后的字段，输出到目标端。 每个作业，如果进行数据转换操作，有且只能有一个输入算子，有且只能有一个输出算子。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
