华为云首页用户手册

数据仓库服务 GAUSSDB(DWS)-SMP并行执行:SMP适用场景与限制

数据仓库服务 GAUSSDB(DWS)-SMP并行执行:SMP适用场景与限制

时间：2024-10-28 14:22:53

数据仓库服务 GAUSSDB(DWS) 系统调优

SMP适用场景与限制

SMP适用场景：

支持并行的算子
 计划中存在以下算子支持并行：
1. Scan：支持行存普通表和行存分区表顺序扫描、列存普通表和列存分区表顺序扫描、HDFS内外表顺序扫描；支持GDS数据导入的外表扫描并行。以上均不支持复制表。
2. Join：HashJoin、NestLoop
3. Agg：HashAgg、SortAgg、PlainAgg、WindowAgg(只支持partition by，不支持order by)
4. Stream：Redistribute、Broadcast
5. 其他：Result、Subqueryscan、Unique、Material、Setop、Append、VectoRow、RowToVec
SMP特有算子
 为了实现并行，新增了并行线程间的数据交换Stream算子供SMP特性使用。以下新增的算子可以看做Stream算子的子类：
1. Local Gather：实现DN内部并行线程的数据汇总
2. Local Redistribute：在DN内部各线程之间，按照分布键进行数据重分布
3. Local Broadcast：将数据广播到DN内部的每个线程
4. Local RoundRobin：在DN内部各线程之间实现数据轮询分发
5. Split Redistribute：在集群跨DN的并行线程之间实现数据重分布
6. Split Broadcast：将数据广播到集群所有DN的并行线程
上述新增算子可以分为Local与非Local两类，Local类算子实现了DN内部并行线程间的数据交换，而非Local类算子实现了跨DN的并行线程间的数据交换。
示例说明
 以TPCH Q1的并行计划为例：

在这个计划中，实现了Hdfs Scan以及HashAgg算子的并行，并且新增了Local Gather和Split Redistribute数据交换算子。

其中6号算子为Split Redistribute算子，上面标有的“dop: 4/4”表明Split Redistribute的发送端和接收端线程的并行度均为4。4号算子为Local Gather，上面标有“dop: 1/4”，该算子的发送端线程并行度为4，而接收端线程并行度为1，即下层的5号Hash Aggregate算子按照4并行度执行，而上层的1~3号算子按照串行执行，4号算子实现了DN内并行线程的数据汇总。

通过计划Stream算子上标明的dop信息即可看出各个算子的并行情况。

非适用场景：

上一篇：数据仓库服务 GAUSSDB(DWS)-SMP并行执行:资源对SMP性能的影响

下一篇：数据仓库服务 GAUSSDB(DWS)-SMP并行执行:资源对SMP性能的影响

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

数据仓库服务 GAUSSDB(DWS)-SMP并行执行:SMP适用场景与限制

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题