数据仓库服务 GAUSSDB(DWS)-Hudi用户接口:实时视图与增量视图查询
实时视图与增量视图查询
GaussDB (DWS)提供了类似spark-sql风格的表级参数,用于支持实时视图和增量视图。
具体参数说明如下,其中SCHEMA.FOREIGN_TABLE需要替换为实际的schema和外表名。
参数 |
取值 |
说明 |
---|---|---|
hoodie.SCHEMA.FOREIGN_TABLE.consume.mode |
SNAPSHOT |
查询实时视图。 |
INCREMENTAL |
查询增量视图。 |
|
hoodie.SCHEMA.FOREIGN_TABLE.consume. start.timestamp |
hudi时间戳 |
指定增量同步的起始commit。 |
hoodie.SCHEMA.FOREIGN_TABLE.consume. ending.timestamp |
hudi时间戳 |
指定增量同步的结束commit,不指定则采用最新commit。 |
- 以上参数支持使用set命令设置,并且仅在当前SESSION中有效;使用reset命令恢复缺省值。
- 可以通过系统函数pg_catalog.pg_show_custom_settings()来查询相关参数的设置详情。
- 查询MOR表的增量视图时,需要使用where条件过滤_hoodie_commit_time字段,避免读取到未合并的不符合条件的log文件数据;COW表无需该操作。
- Hudi服务_什么是Hudi_如何使用Hudi
- DWS产品介绍_DWS产品优势_DWS功能_DWS使用场景_DWS是什么
- GaussDB(DWS)常用SQL_常用SQL命令_SQL语法
- 调用GaussDB(DWS) API接口_数据仓库服务调用API_如何调用API_在DWS中调用API
- 数据仓库服务GaussDB(DWS)_SQL on Anywhere
- GaussDB入门_GaussDB数据库_高斯数据库视图
- 数据库监控DMS_数据库智能运维_了解Auto Pilot_DMS_DWS节点监控
- GAUSS(DWS)工具_gsql工具_DataStudio工具_DSC工具
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- DWS安全_数据仓库服务安全_DWS数据安全管理_DWS安全保障_DWS安全策略