数据湖探索 DLI-使用Temporal join关联维表的最新版本:参数说明

时间：2024-07-10 15:22:01

数据湖探索 DLI Hive

在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后，将重新扫描Hive表以加载最新的数据。

参数	默认值	类型	说明
lookup.join.cache.ttl	60 min	Duration	查找联接中构建表的缓存 TTL（例如 10 分钟）。默认情况下，TTL 为 60 分钟。该选项仅在查找有界的 hive 表源时有效，如果您使用流式 hive 源作为时态表，请使用 streaming-source.monitor-interval 配置数据更新间隔。

参数

默认值

类型

说明

lookup.join.cache.ttl

60 min

Duration

查找联接中构建表的缓存 TTL（例如 10 分钟）。默认情况下，TTL 为 60 分钟。

该选项仅在查找有界的 hive 表源时有效，如果您使用流式 hive 源作为时态表，请使用 streaming-source.monitor-interval 配置数据更新间隔。