华为云首页用户手册

MAPREDUCE服务 MRS-配置Doris对接Hudi数据源:Doris on Hudi查询加速

MAPREDUCE服务 MRS-配置Doris对接Hudi数据源:Doris on Hudi查询加速

时间：2024-11-28 01:44:47

MAPREDUCE服务 MRS

Doris on Hudi查询加速

Doris on Hudi支持以下方式的查询加速：

Doris支持Hudi Parquet表的Bucket Shuffle Join操作
 Doris支持使用Bucket Shuffle Join对Hudi数据源查询进行加速，当前支持对Hudi所有字段类型及存储在OBS上的Hudi表进行该操作。该功能由session级别变量“enable_hudi_bucket_shuffle” 控制是否启用，默认关闭，可通过连接Doris后执行set enable_hudi_bucket_shuffle=true;命令开启。
- 在等值Join条件之中包含两张表的分桶列，当左表的分桶列为等值的Join条件时，很大概率会被规划为Bucket Shuffle Join。
- 左表的分桶列的类型与右表等值Join列的类型需要保持一致。
- Bucket Shuffle Join功能只生效于等值Join的场景。
- Bucket Shuffle Join功能只能在左表为单分区时生效。
- 支持参与Join的两张表，一张是Hudi表，一张是Doris内部表。

Doris支持Hudi的隐式分区功能（受限特性）
Doris支持Hudi的隐式分区功能以进行查询加速。该功能由变量“enable_hudi_hidden_partition”控制是否启用，默认关闭，可通过连接Doris后执行ADMIN SET FRONTEND CONFIG ("enable_hudi_hidden_partition" = "true");命令开启。
Doris支持对Hudi表进行桶裁剪（受限特性）
Doris支持对Hudi表进行桶裁剪以进行查询加速。该功能由变量“enable_hudi_bucket_prunning”控制是否启用，默认关闭，可通过连接Doris后执行ADMIN SET FRONTEND CONFIG ("enable_hudi_bucket_prunning" = "true");命令开启。

上一篇：MAPREDUCE服务 MRS-配置HDFS多路读:操作场景

下一篇：MAPREDUCE服务 MRS-配置Doris表的列权限管理:操作场景

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-配置Doris对接Hudi数据源:Doris on Hudi查询加速

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题