数据仓库服务 GAUSSDB(DWS)-降低IO的处理方案:场景3:表存储倾斜
场景3:表存储倾斜
例如表Scan的A-time中,max time DN执行耗时6554ms,min time DN耗时0s,DN之间扫描差异超过10倍以上,这种集合Scan的详细信息,基本可以确定为表存储倾斜导致。
通过table_distribution发现所有数据倾斜到了dn_6009单个DN,修改分布列使得表存储分布均匀后,max dn time和min dn time基本维持在相同水平400ms左右,Scan时间从6554ms优化到431ms。
触发因素:分布式场景,表分布列选择不合理会导致存储倾斜,同时导致DN间压力失衡,单DN IO压力大,整体IO效率下降。
解决办法:修改表的分布列使表的存储分布均匀,分布列选择原则参见选择分布列。
- 数据仓库服务GaussDB(DWS)_SQL on Anywhere
- 数据库监控DMS_数据库智能运维_了解Auto Pilot_DMS_DWS节点监控
- DWS产品介绍_DWS产品优势_DWS功能_DWS使用场景_DWS是什么
- GAUSS(DWS)工具_gsql工具_DataStudio工具_DSC工具
- DWS资源管理_GaussDB(DWS)资源管理作用_DWS资源管控
- DWS安全_数据仓库服务安全_DWS数据安全管理_DWS安全保障_DWS安全策略
- 调用GaussDB(DWS) API接口_数据仓库服务调用API_如何调用API_在DWS中调用API
- GaussDB(DWS)服务_什么是IoT数仓_如何使用IoT数仓
- GaussDB(DWS)常用SQL_常用SQL命令_SQL语法
- 大数据应用范围有哪些_大数据技术与应用要学习什么课程