华为云首页用户手册

数据仓库服务 GAUSSDB(DWS)-Hudi任务同步:创建Hudi任务

数据仓库服务 GAUSSDB(DWS)-Hudi任务同步:创建Hudi任务

时间：2024-11-07 10:31:05

数据仓库服务 GAUSSDB(DWS) SQL on Hudi

创建Hudi任务

迁移场景
 如果 GaussDB (DWS)表已经通过CDL导入数据，改为用SQL on Hudi方式迁移数据。或者是用 CDM 做全量初始化后，继续使用SQL on Hudi方式同步增量数据。

1. 创建hudi.hudi_sync_state同步状态表，需要管理员权限。
1

SELECT pg_catalog.create_hudi_sync_table();
通常情况下，每个数据库中只创建一次hudi.hudi_sync_state。

2. 设置CDL的同步进度，用户需要有同步目标表的insert和update权限、HUDI外表的select权限，否则无法正常设置同步进度。
1

SELECT hudi_set_sync_commit('SCHEMA.TABLE', 'SCHEMA.FOREIGN_TABLE', 'LATEST_COMMIT');
其中：

SCHEMA.TABLE表示同步数据的目标表名，带schema。

SCHEMA.FOREIGN_TABLE表示OBS外表命名，带schema。

LATEST_COMMIT表示已同步的Hudi数据时间截点。

示例：

目标表public.in_rel，已经同步hudi的数据到20220913152131，切换到SQL on Hudi方式从OBS外表hudi_read1中继续导出数据。
1

SELECT hudi_set_sync_commit('public.in_rel', 'public.hudi_read1', '20220913152131');
3. 提交Hudi同步任务。
1

SELECT hudi_sync_task_submit('SCHEMA.TABLE', 'SCHEMA.FOREIGN_TABLE');
例如：

目标表public.in_rel，切换到SQL on Hudi方式从OBS外表hudi_read1中继续导出数据。
1

SELECT hudi_sync_task_submit('public.in_rel', 'public.hudi_read1');
新建场景
 DWS表为空，第一次从Hudi同步数据，可执行以下命令直接创建任务。
1

SELECT hudi_sync_task_submit('SCHEMA.TABLE', 'SCHEMA.FOREIGN_TABLE');

上一篇：数据仓库服务 GAUSSDB(DWS)-优化器开销常量:random_page_cost

下一篇：数据仓库服务 GAUSSDB(DWS)-Windows下配置数据源:常见问题处理

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

数据仓库服务 GAUSSDB(DWS)-Hudi任务同步:创建Hudi任务

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题