数据湖探索 DLI-使用Temporal join关联维表的最新分区:功能描述

时间:2024-05-07 11:37:34

功能描述

对于随时间变化的分区表,我们可以将其读取为无界流,如果每个分区包含某个版本的完整数据,则该分区可以被视为时间表的一个版本,时间表的版本保留了分区的数据。Flink支持在处理时间关联中自动跟踪时间表的最新分区(版本)。

最新分区(版本)由 'streaming-source.partition-order' 选项定义。

这是在Flink 流应用作业中将 Hive 表用作维度表的最常见用例。

support.huaweicloud.com/sqlref-flink-dli/dli_08_15052.html