数据湖探索 DLI-Hive结果表:注意事项

时间:2024-11-16 13:21:44

注意事项

  • 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
  • 数据类型的使用,请参考Format章节。
  • Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的 DLI Lakehouse表。
    • 使用Hive语法创建OBS表
      • defalut方言: with 属性中需要设置hive.is-external为true。
      • 使用hive 方言:建表语句需要使用EXTERNAL关键字。
    • 使用hive语法的DLI Lakehouse表
      • 使用hive 方言:表属性中需要添加'is_lakehouse'='true'。
  • 创建Flink OpenSource SQL作业时,在作业编辑界面配置开启checkpoint功能。
support.huaweicloud.com/sqlref-flink-dli/dli_08_15050.html