数据湖探索 DLI-使用Temporal join关联维表的最新版本:注意事项

时间:2024-07-10 15:22:01

注意事项

  • 每个连接子任务都需要保留自己的Hive表缓存。请确保Hive表可以放入TM任务槽的内存中。
  • 建议为streaming-source.monitor-interval(最新分区作为临时表)或 lookup.join.cache.ttl(所有分区作为临时表)设置一个相对较大的值。否则,作业容易出现性能问题,避免表更新和重新加载过于频繁。
  • 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。
support.huaweicloud.com/sqlref-flink-dli/dli_08_15053.html