华为云首页用户手册

数据仓库服务 GAUSSDB(DWS)-Hudi简介

数据仓库服务 GAUSSDB(DWS)-Hudi简介

时间：2024-12-02 17:18:25

数据仓库服务 GAUSSDB(DWS) SQL on Hudi

Hudi简介

Apache Hudi（发音Hoodie）表示Hadoop Upserts Deletes and Incrementals。用来管理Hadoop大数据体系下存储在DFS上大型分析数据集。

Hudi不是单纯的数据格式，而是一套数据访问方法（类似 GaussDB (DWS)存储的access层），在Apache Hudi 0.9版本，大数据的Spark，Flink等组件都单独实现各自客户端。Hudi的逻辑存储如下图所示：

写入模式
 COW：写时复制，适合更新少的场景。

MOR：读时复制，对于UPDATE&DELETE增量写delta log文件，分析时进行base和delta log文件合并，异步compaction合并文件。

存储格式
 index：对主键进行索引，默认是file group级别的bloomfilter。

data files：base file + delta log file（主要面向对base file的update&delete）。

timeline metadata：版本log的管理。
视图
 读优化视图：读取Compaction后生成的base file，未Compaction数据时效性有一定延迟（高效读取）。

实时视图：读取最新的数据，在读取时进行Base file和Delta file合并（频繁update场景）。

增量视图：类似CDC方式持续读取增量写入Hudi的数据（流批一体）。

父主题： SQL on Hudi

上一篇：数据仓库服务 GAUSSDB(DWS)-Hudi用户接口:实时视图与增量视图查询

下一篇：数据仓库服务 GAUSSDB(DWS)-PG_MATVIEW

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据仓库服务 GAUSSDB(DWS)-Hudi简介

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题