华为云首页用户手册

数据湖探索 DLI-Hive源表:注意事项

数据湖探索 DLI-Hive源表:注意事项

时间：2024-12-11 09:40:34

数据湖探索 DLI

注意事项

创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
数据类型的使用，请参考Format章节。
Hive 方言支持的 DDL 语句，Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的 DLI Lakehouse表。
- 使用Hive语法创建OBS表
  - defalut方言： with 属性中需要设置hive.is-external为true。
  - 使用hive 方言：建表语句需要使用EXTERNAL关键字。
- 使用hive语法的DLI Lakehouse表
  - 使用hive 方言：表属性中需要添加'is_lakehouse'='true'。
开启checkpoint功能。
建议切换到Hive方言来创建Hive兼容表。如果您想用默认的方言创建Hive兼容表，确保在您的表属性中设置'connector'='hive'，否则在HiveCatalog中一个表默认被认为是通用的。注意，如果使用Hive方言，就不需要connector属性。
监视策略是扫描当前位置路径中的所有目录/文件。许多分区可能会导致性能下降。
对未分区表进行流式读取时，要求将每个文件以原子方式写入目标目录。
分区表的流式读取要求在 hive 元存储的视图中以原子方式添加每个分区。否则，将使用添加到现有分区的新数据。
流式读取不支持 Flink DDL 中的水印语法。这些表不能用于窗口运算符。

上一篇：数据湖探索 DLI-Hive源表:功能描述

下一篇：数据湖探索 DLI-Hive源表:简介

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Hive源表:注意事项

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题