华为云存储创新Lab论文被重要学术会议HotOS'23接收,提出一个在分离式架构下支撑数据密集型系统的分布式运行时

【论文信息】

 

Skadi: Building a Distributed Runtime for Data Systems in Disaggregated Data Centers.

 

【作者信息】

 

Cunchen Hu, Chenxi Wang, Sa Wang, Ninghui Sun, Yungang Bao, Jieru Zhao, Sanidhya Kashyap, Pengfei Zuo, Xusheng Chen, Liangliang Xu, Qin Zhang, Hao Feng, Yizhou Shan.

 

【论文简介】

 

       数据密集型系统一直是公有云上的最重要的负载之一。在过去十几年里,公有云厂商一直用三个原则在保持数据密集型系统运行的高性价比:用分离式架构来让资源独立伸缩,用异构加速来加速负载,以及用无服务器计算来进一步降低运行开销。虽然这些原则独立都运行得很好,但暂时无法和谐地共存。在这篇文章中,我们提出一个分布式运行时来解决存在的一些缺陷。这个分布式运行时分为两层,它有一个多级访问层,对外呈现声明式API,它的下层是一个呈现分布式任务API的GP无服务器平台。这个分布式运行时将是数据系统与硬件之间的狭窄腰部。分布式运行时的用户可以不用感知数据的布局、并发、分解状态以及底层硬件的状态。

 

Skadi论文图片2.png