数据湖探索 DLI-Maxwell Format:注意事项

时间：2024-11-16 13:21:44

数据湖探索 DLI

注意事项

Maxwell应用允许将每个变动消息精确地传递一次。在这种情况下，Flink在消费Maxwell生成的消息时处理得很好。如果Maxwell应用程序在at-least-once模式处理，它可能向Kafka写入重复的改动消息，Flink将获得重复的消息。这可能会导致Flink查询得到错误的结果或意外的异常。因此，在这种情况下，建议将作业配置table.exec.source.cdc-events-duplicate设置为true，并在源表上定义PRIMARY KEY。Framework将生成一个额外的有状态操作符，并使用主键对变更事件进行去重，并生成一个规范化的changelog流。

上一篇：数据湖探索 DLI-Maxwell Format:功能描述

下一篇：数据湖探索 DLI-Maxwell Format:功能描述