窗口-华为云

数据湖探索 DLI-分析窗口函数概览

分析窗口函数概览 DLI 所支持的分析窗口函数如分析窗口函数介绍所示。表1 分析窗口函数介绍函数命令格式返回值功能简介 cume_dist cume_dist() DOUBLE 用于求累计分布，相当于求分区中大于等于或小于等于当前行的数据在分区中的占比。 first_value first_value(col) 参数的数据类型返回结果集中某列第一条数据的值。 last_value last_value(col) 参数的数据类型返回结果集中某列最后一条数据的值。 lag lag (col,n,DEFAULT) 参数的数据类型用于统计窗口内往上第n行值。第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）。 lead lead (col,n,DEFAULT) 参数的数据类型用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）。 percent_rank percent_rank() DOUBLE 为窗口的ORDER BY子句所指定列中值的返回秩，但以介于0和1之间的小数形式表示，计算方法为 (RANK - 1)/(- 1)。 rank rank() INT 计算一个值在一组值中的排位。如果出现并列的情况，RANK函数会在排名序列中留出空位。 row_number row_number() over (order by col_1[,col_2 ...]) INT 为每一行指派一个唯一的编号。父主题：分析窗口函数

数据湖探索 DLI 分析窗口函数

数据湖探索 DLI-窗口函数:窗口表值函数（Windowing TVFs）

窗口表值函数（Windowing TVFs）窗口是处理无限流的核心。窗口把流分割为有限大小的 “桶”，这样就可以在其之上进行计算。 Apache Flink 提供了如下窗口表值函数（table-valued function, 缩写TVF）把表的数据划分到窗口中：滚动窗口滑动窗口累积窗口逻辑上，每个元素可以应用于一个或多个窗口，这取决于所使用的窗口表值函数的类型。例如：滑动窗口可以把单个元素分配给多个窗口。窗口表值函数是 Flink 定义的多态表函数（Polymorphic Table Function，缩写PTF），PTF 是 SQL 2016 标准中的一种特殊的表函数，它可以把表作为一个参数。窗口表值函数是分组函数（已废弃）的替代方案。窗口表值函数更符合 SQL 标准，在支持基于窗口的复杂计算上也更强大。例如：窗口 TopN、窗口 Join。而分组窗口函数只支持窗口聚合。更多介绍和使用请参考开源社区文档：窗口函数。

数据湖探索 DLI 窗口

数据湖探索 DLI-窗口函数:窗口函数简介

窗口函数简介 Apache Flink 提供3个内置的窗口表值函数：TUMBLE，HOP 和 CUMULATE。窗口表值函数的返回值包括原生列和附加的三个指定窗口的列，分别是：“window_start”，“window_end”，“window_time”。在批计算模式，window_time 是 TIMESTAMP 或者 TIMESTAMP_LTZ 类型（具体哪种类型取决于输入的时间字段类型）的字段。 window_time 字段用于后续基于时间的操作，例如：其他的窗口表值函数，或者interval joins，over aggregations。它的值总是等于 window_end - 1ms。

数据湖探索 DLI 窗口

数据湖探索 DLI-窗口函数:累积窗口（CUMULATE）

累积窗口（CUMULATE）功能描述累积窗口在某些场景中非常有用，比如说提前触发的滚动窗口。例如：每日仪表盘从 00:00 开始每分钟绘制累积 UV，10:00 时 UV 就是从 00:00 到 10:00 的UV 总数。累积窗口可以简单且有效地实现它。 CUMULATE 函数指定元素到多个窗口，从初始的窗口开始，直到达到最大的窗口大小的窗口，所有的窗口都包含其区间内的元素，另外，窗口的开始时间是固定的。你可以将 CUMULATE 函数视为首先应用具有最大窗口大小的 TUMBLE 窗口，然后将每个滚动窗口拆分为具有相同窗口开始但窗口结束步长不同的几个窗口。所以累积窗口会产生重叠并且没有固定大小。例如：1小时步长，24小时大小的累计窗口，每天可以获得如下这些窗口：[00:00, 01:00)，[00:00, 02:00)，[00:00, 03:00)， …， [00:00, 24:00) 图3 累积窗口示例图

数据湖探索 DLI 窗口

数据湖探索 DLI-窗口去重:功能描述

功能描述窗口去重是一种特殊的去重，它根据指定的多个列来删除重复的行，保留每个窗口和分区键的第一个或最后一个数据。对于流式查询，与普通去重不同，窗口去重只在窗口的最后返回结果数据，不会产生中间结果。它会清除不需要的中间状态。因此，窗口去重查询在用户不需要更新结果时，性能较好。通常，窗口去重直接用于窗口表值函数上。另外，它可以用于基于窗口表值函数的操作。比如窗口聚合，窗口TopN和窗口关联。窗口Top-N的语法和普通的Top-N相同。除此之外，窗口去重需要 PARTITION BY 子句包含表的 window_start 和 window_end 列。否则优化器无法翻译。 Flink 使用 ROW_NUMBER() 移除重复数据，就像窗口TopN一样。理论上，窗口是一种特殊的窗口 Top-N：N是1并且是根据处理时间或事件时间排序的。更多介绍和使用请参考开源社区文档：窗口去重。

数据湖探索 DLI 窗口

数据湖探索 DLI-percent_rank:示例代码

示例代码示例数据为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表salary，并添加数据，命令示例如下： CREATE EXTERNAL TABLE salary ( dept STRING, -- 部⻔名称 userid string, -- 员⼯ID sal INT -- 薪⽔ ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' stored as textfile; 添加数据如下： d1,user1,1000 d1,user2,2000 d1,user3,3000 d2,user4,4000 d2,user5,5000 示例：计算员工薪水在部门内的百分比排名。 select dept, userid, sal, percent_rank() over(partition by dept order by sal) as pr2 from salary; -- 结果分析： d1 user1 1000 0.0 -- (1-1)/(3-1)=0.0 d1 user2 2000 0.5 -- (2-1)/(3-1)=0.5 d1 user3 3000 1.0 -- (3-1)/(3-1)=1.0 d2 user4 4000 0.0 -- (1-1)/(2-1)=0.0 d2 user5 5000 1.0 -- (2-1)/(2-1)=1.0

数据湖探索 DLI 分析窗口函数

云服务器内容精选

窗口

7*24

备案

专业服务

退订

建议反馈

售前咨询热线