云数据库 GAUSSDB-分区表对导入操作的性能影响
下载云数据库 GAUSSDB用户手册完整版
分区表对导入操作的性能影响
在 GaussDB 内核实现中，分区表数据插入的处理过程相比非分区表增加分区路由部分的开销，因从整体上分区表场景的数据插入开销主要看成：（1）heap-insert基表插入；（2）partition-routing分区路由两个部分，如图1所示。其中heap基表插入解决tuple入库对应heap表的问题并且该部分普通表和分区表共用，而分区路由部分解决分区路由即tuple元组插入到对应partRel的问题，并且分区路由算法本身作为一级、二级分区共用，不同之处在于二级分区相比一级分区多一层路由操作，对路由算法为两次调用。
- 分区表基表Heap表插入：
- 算子底噪优化
- heap数据插入
- 索引插入build优化（带索引）
- 分区表分区路由：
- 路由查找算法逻辑优化
- 路由底噪优化，包括分区表partRel句柄开启、新增的函数调用逻辑开销
分区路由的性能主要通过大数据量的单条INSERT语句体现，UPDATE场景内部包含了查找对应要更新的元组进行DELETE操作然后再进行INSERT，因此不如单条INSERT语句场景直接。
|
分区方式 |
路由算法复杂度 |
实现概述说明 |
|---|---|---|
|
范围分区（Range Partition） |
O(logN) |
基于二分binary-search实现 |
|
间隔分区（Interval Partition） |
O(logN) |
基于二分binary-search实现 |
|
哈希分区（Hash-Partition） |
O(1) |
基于key-partOid哈希表实现 |
|
列表分区（List-Partition） |
O(1) |
基于key-partOid哈希表实现 |
|
二级分区（List/List） |
O(1) + O(1) |
哈希+哈希 |
|
二级分区（List/Range） |
O(1) + O(1) = O(1) |
哈希+二分查找 |
|
二级分区（List/Hash） |
O(1) + O(1) = O(1) |
哈希+哈希 |
|
二级分区（Range/List） |
O(1) + O(1) = O(1) |
二分查找+哈希 |
|
二级分区（Range/Range） |
O(1) + O(1) = O(1) |
二分查找+二分查找 |
|
二级分区（Range/Hash） |
O(1) + O(1) = O(1) |
二分查找+哈希 |
|
二级分区（Hash/List） |
O(1) + O(1) = O(1) |
哈希+哈希 |
|
二级分区（Hash/Range） |
O(1) + O(1) = O(1) |
哈希+二分查找 |
|
二级分区（Hash/Hash） |
O(1) + O(1) = O(1) |
哈希+哈希 |
- x86服务器场景下一级分区表相比普通表的导入性能会略低10%以内，二级分区表比普通表略低20%以内。
- ARM服务器场景下为20%、30%，造成x86和ARM指向性能略微差异的主要原因是分区路由为in-memory计算强化场景，主流x86体系CPU在单核指令处理能力上略优于ARM。
- GaussDB数据库案例_GaussDB数据库的优势_华为高斯数据库_新建高斯数据库
- GaussDB如何建主键_数据库索引设计规范_高斯数据库如何建主键-华为云
- GaussDB配额_GaussDB数据库配额_高斯数据库配额_华为云
- GaussDB数据库_gaussdb类型_高斯数据库_华为云
- 性能测试使用教程_性能测试操作步骤_性能测试快速入门-华为云
- GaussDB标签_GaussDB数据库标签_高斯数据库标签_华为云
- MySQL数据库_查看MySQL数据库版本_免费MySQL数据库
- GaussDB学习_gaussdb教程_高斯数据库学习_华为云
- GaussDB数据库安全_GaussDB收费吗_高斯数据库安全
- GaussDB培训_GaussDB教程_高斯数据库培训-华为云
