数据仓库服务 GAUSSDB(DWS)-Hudi用户接口:Hudi外表信息查询与自动同步任务

时间:2024-12-09 15:13:23

Hudi外表信息查询与自动同步任务

GaussDB (DWS)提供一系列系统函数来实现Hudi外表信息获取、创建Hudi自动同步任务等功能。其中Hudi自动同步任务实现了从Hudi外表周期性同步数据到GaussDB(DWS)内表功能。

表2 Hudi系统函数

序号

名称

类型

功能

1

pg_show_custom_settings()

内置函数

查询HUDI外表参数设置详情。

2

hudi_get_options(regclass)

内置函数

查询HUDI外表的属性信息(hoodie.properties)。

3

hudi_get_max_commit(regclass)

内置函数

获取当前HUDI外表最新commit的时间戳。

4

hudi_sync_task_submit(regclass, regclass)

内置函数

提交HUDI自动同步任务。

hudi_sync_task_submit(regclass, regclass, text, text)

5

hudi_show_sync_state()

内置函数

获取HUDI自动同步任务的同步状态。

6

hudi_sync(regclass, regclass)

存储过程

HUDI自动同步任务调用入口。

7

hudi_sync_custom(regclass, regclass, text)

存储过程

HUDI自动同步任务调用入口,支持用户自定义目标表和数据源表的字段同步对应关系。

8

hudi_set_sync_commit(regclass, regclass, text)

内置函数

设置HUDI自动同步任务首次同步的起点时间戳,避免在已经同步了部分数据的情况下,重新同步已有数据。

hudi_set_sync_commit(text, text)

设置HUDI自动同步任务下一次同步的起点时间戳,可以用于重复同步历史数据或者跳过某些数据。

support.huaweicloud.com/devg-910-dws/dws_04_1072.html