MAPREDUCE服务 MRS-配置Hive读取Hudi表:Hudi表对应的Hive外部表介绍

时间:2024-10-16 17:58:33

Hudi表对应的Hive外部表介绍

Hudi源表对应一份HDFS的数据,通过Spark组件、Flink组件或者Hudi客户端,可以将Hudi表的数据映射为Hive外部表,基于该外部表,Hive可以进行实时视图查询、读优化视图查询以及增量视图查询。

  • 根据Hudi源表的类型的不同,提供不同的视图查询:
    • Hudi源表类型为Copy On Write时,可以映射为Hive的一张外部表,该表可以提供实时视图查询以及增量视图查询。
    • Hudi源表类型为Merge On Read时,可以映射为Hive的两张外部表(ro表和rt表),ro表提供读优化视图查询,rt表提供实时视图查询以及增量视图查询。
  • 不能对Hudi表映射的Hive外部表做增删改操作(即insert、update、delete、load、merge、alter、msck),只支持查询操作(select)。
  • 表授权:不支持修改类权限(update、Alter、write、All)。
  • 备份与恢复:由于ro表和rt表均由同一个Hudi源表映射的,备份其中一张表,另一张也会跟着备份,恢复也是同时恢复的,因此只需备份其中一张表即可。
  • 组件版本:
    • Hive: FusionInsight _HD_xxx,Hive内核版本3.1.0。
    • Spark2x:FusionInsight_Spark2x_xxx,Hudi内核版本:0.11.0。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24040.html