华为云存储创新LAB研究成果获得国内首个FAST最佳论文奖!
FAST会议代表了计算机存储领域的国际最高水平,被列为CCF A类会议。FAST论文遴选非常严格,今年在全球范围内仅收录了28篇论文,其中两篇来自于华为云,更有一篇被评为最佳论文奖。今年FAST被接收的28篇论文中4篇属于Deployed-System Paper(工业系统类论文),24篇属于Regular Paper(学术研究类论文)。Deployed-System Paper侧重于介绍工业系统部署经验的归纳与总结,而Regular Paper则更侧重于基础技术领域的创新idea和突破。
硬实力领先的重要突破口在于对基础核心技术创新的不懈坚持,华为云存储创新LAB与华中科技大学合作撰写论文,提出业界首个基于分离式内存架构的Learned Index (ROLEX),被大会从收录的24篇Regular Paper中选中,评选为最佳论文,成为国内首次获此殊荣的研究团队。
【论文信息】
Pengfei Li, Yu Hua, Pengfei Zuo, Zhangyu Chen, Jiajie Sheng, “ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.
【论文简介】
分离式内存系统将完整的服务器分成独立的组件,并将不同功能的组件构建成池,以提高系统资源的利用率,包括内存池和计算池。不同的池子通过高效的RDMA网卡进行连接,使计算池可以在内存池的CPU不参与的情况下访问内存池中的数据。
在这样的架构中,现有的有序索引要么引入了多次昂贵的网络往返开销,要么严重依赖内存节点处理不同的索引请求,因而无法很好地在分离式内存架构中提供高效的数据存储和访问性能。
为了解决这些问题,论文提出一个面向RDMA单边操作的存储有序键值数据的学习型索引技术ROLEX,通过异步重训练支持计算节点直接修改数据而无需重训练模型,提升了多计算节点的数据存储和访问性能。为了减少网络带宽的开销,ROLEX使用异步、原地重训练的策略在内存节点上利用少量的计算资源对修改后的数据进行重训练。实验结果表明,ROLEX在动态工作负载上比其他方案提高了2.2倍的性能。
对基础技术的探索永远是华为云长期规划和坚持的重要部分,没有产业技术的深根钻研,就无法前瞻洞察产业发展趋势,无法为客户提供极致的服务。面对云上内存资源昂贵的难题,华为云在内存技术方面进行了一系列创新,包括自研的内存哈希索引RACE(USENIX ATC 2021)、分布式内存事务(FAST 2022)、学习型内存键值存储(FAST 2023)、分离式内存键值存储(FAST 2023)等,推动云存算分离架构演进,大幅提升云应用性能并节省云服务成本。
附:华为云存储创新LAB在分离式内存方向上的研究成果
1.Pengfei Zuo, Jiazhao Sun, Liu Yang, Shuangwu Zhang, Yu Hua, “One-sided RDMA-Conscious Extendible Hashing for Disaggregated Memory”, Proceedings of the USENIX Annual Technical Conference (USENIX ATC), 2021.
2.Ming Zhang, Yu Hua, Pengfei Zuo, Lurong Liu, “FORD: Fast One-sided RDMA-based Distributed Transactions for Disaggregated Persistent Memory”, Proceedings of the 20th USENIX Conference on File and Storage Technologies (FAST), 2022.
3.Pengfei Zuo*, Qihui Zhou*, Jiazhao Sun, Liu Yang, Shuangwu Zhang, Yu Hua, James Cheng, Rongfeng He, Huabing Yan, “RACE: One-Sided RDMA-Conscious Extendible Hashing”, ACM Transactions on Storage (TOS) 18.2 (2022): 1-29.
4.Jiacheng Shen, Pengfei Zuo, Xuchuan Luo, Tianyi Yang, Yuxin Su, Yangfan Zhou, Michael Lyu, “FUSES: A Fully Memory-Disaggregated Key-Value Store”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.
5.Pengfei Li, Yu Hua, Pengfei Zuo, Zhangyu Chen, Jiajie Sheng, “ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.