华为云存储创新LAB论文被USENIX ATC'21接收！提出首个全单边RDMA访问的分布式哈希索引
USENIX ATC是计算机系统领域的顶级会议，入选中国计算机协会（CCF）推荐A类国际会议列表；本次共投稿341篇论文，接收64篇，录用率18.8%。华为云存储创新实验室MemArts团队提出首个全单边RDMA访问的分布式哈希索引RACE Hashing的工作被USENIX ATC’21录用。RACE Hashing是华为云基础设施向内存中心架构演进的关键技术成果之一。
【论文信息】
Pengfei Zuo, Jiazhao Sun, Liu Yang, Shuangwu Zhang, Huawei Inc.; Yu Hua, Huazhong University of Science and Technology; "One-sided RDMA-Conscious Extendible Hashing for Disaggregated Memory". USENIX Annual Technical Conference (USENIX ATC), 2021.
【论文简介】
在以内存为中心的计算架构（Memory-centric Architecture）中，Disaggregated Memory技术通过解耦合计算和内存资源形成独立的计算和内存资源池。由于资源池化和硬件独立部署，Disaggregated Memory带来资源利用率提升、故障隔离和弹性增强等收益，从而在云数据中心中具有广阔的应用前景。分布式in-memory哈希索引是很多数据中心应用的关键构建单元。但是，由于disaggregated memory pool上的计算能力非常弱从而不能执行复杂的索引请求，传统的分布式哈希索引很难高效地使用在Disaggregated Memory中。
为了在Disaggregated Memory上提供高效的索引服务，我们提出首个基于全单边RDMA访问的分布式哈希索引RACE Hashing (one-sided RDMA-Conscious Extendible hashing)，并且支持无锁的远程并发控制和远程扩容。首先，RACE Hashing提出一个单边RDMA意识的高性能哈希表结构，其中所有的索引请求（增/删/改/查）只使用单边RDMA原语（read/write/atomic）设计和实现，从而不需要涉及memory pool端任何计算能力。其次，RACE Hashing提出一个无锁的远程并发控制技术使得不同的客户端能以无锁的方式并发操作memory pool上的同一个哈希索引。最后，RACE Hashing提出一个可扩展的远程扩容技术来减少扩容过程中的单边RDMA访问数，并且支持在扩容过程中可以并发执行增删改查请求。实验结果显示，相对于现有最优的分布式哈希索引，RACE Hashing减少了2.5~65.6倍的请求执行时延、提升了2.2~17.3倍的请求并发吞吐量。
RACE Hashing是第一个使用全单边RDMA设计和实现的并发索引结构，正如USENIX ATC的审稿人所述：“To best of my knowledge, the RACE is the first concurrent RDMA hash table, which fully relies on one-sided RDMA operations using only a single one-sided operations almost all cases.”
