数据湖探索 DLI-JDBC结果表:注意事项

时间:2024-07-01 21:07:21

注意事项

  • 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
  • 如果JDBC结果表定义了主键,则连接器以upsert模式运行,否则,连接器以Append模式运行。
    • upsert模式:Flink会根据主键插入新行或更新现有行,Flink可以通过这种方式保证幂等性。为保证输出结果符合预期,建议为表定义主键。
    • Append模式:Flink 会将所有记录解释为INSERT消息,如果底层数据库发生主键或唯一约束违规,INSERT操作可能会失败。
support.huaweicloud.com/sqlreference-dli/dli_08_0397.html