数据仓库服务 GAUSSDB(DWS)-SQL on Hadoop:技术架构

时间:2024-06-11 10:47:23

技术架构

DWS将HDFS上存储的结构化数据映射为外部表,从而重用已有的成熟数据库SQL编译器和向量化执行引擎,对外提供标准SQL接口,完成HDFS上Hadoop原生数据的分析查询。

DWS的SQL编译器中引入了新的Scheduler(调度器)组件。在SQL编译时,如果有针对HDFS外表的访问,Scheduler组件会访问HDFS Name Node元数据信息,获得外表文件在HDFS上的存储路径。CN的SQL引擎在编译查询语句时,将会调用Scheduler获得并指定每个DN将要访问的HDFS文件的具体路径。

HDFS外表数据文件在DN间的分配原则是:

  • 首先以本地读为主任务分配策略。
  • 其次考虑DN之间的任务负载均衡。
图1 逻辑架构
support.huaweicloud.com/twp-dws/dws_11_0026.html