华为云数据库创新LAB论文被数据库顶级会议ICDE'25接收!
【摘要】ICDE是数据库领域最高权威的国际顶级学术会议之一,与 VLDB、SIGMOD 并称数据库领域三大顶会(CCF A类)。会议主要收录研究机构以及科技企业在数据库领域最前沿、最顶级的研究成果。2025年度的ICDE将于5月19日到5月23号在香港召开。Serverless分布式数据库是华为云数据库创新LAB的重点积累和研究的方向之一。本次ICDE,华为云数据库创新LAB联合中国人民大学提出一种在分布式数据库系统中实时数据迁移的方法Promi:Progressive Live Migration in Distributed Database Systems。
数据分区是分布式数据库系统中的一项基本技术,但倾斜和动态的工作负载通常会导致节点之间的负载分布不平衡。实时迁移对于通过在节点之间重新分配数据分区来解决这种不平衡至关重要。然而,现有的迁移方法要么继续在过载节点上处理繁重的事务负载,要么在迁移期间阻止和中止实时事务,无法同时实现快速负载平衡和事务零停机时间。
本文提出了一种实时数据迁移方法Promi,它以小分区而不是整个分区的粒度逐步迁移数据。为了确保快速负载平衡,我们提出了一种基于图的迁移调度程序,该调度程序优先考虑热小分区的迁移,并最大限度地减少迁移期间的潜在分布式事务。为了实现零停机时间并提高系统性能,我们提出了一个事务管理器,它根据当前迁移状态明智地路由和调度所涉及的事务。我们进行了大量实验,将Promi与各种实时迁移方法进行了比较。结果表明,与最先进的方法相比,Promi实现了高达1.5倍的吞吐量,并将负载平衡时间减少了高达60%。