华为云存储创新LAB

Data Grows As Ever, Storage Lasts For Ever

Data Grows As Ever, Storage Lasts For Ever

内存存储研究项目

在云数据中心中，内存是成本占比最高的硬件，研究内存技术、系统和架构以提升内存利用率和内存系统性能对云意义重大。

  • 面向异构计算的分离式内存系统

    现有的分离式内存系统均面向通用计算。随着大模型业务的兴起，云上业务逐渐转向以NPU为核心的异构计算。该方向研究如何通过存算分离理念以及异构计算的高带宽能力，设计面向异构算力的分离式内存系统。

    现有的分离式内存系统均面向通用计算。随着大模型业务的兴起，云上业务逐渐转向以NPU为核心的异构计算。该方向研究如何通过存算分离理念以及异构计算的高带宽能力，设计面向异构算力的分离式内存系统。

  • 面向大模型推理的缓存系统

    大模型推理面临的挑战是内存带宽墙和内存容量墙，即大模型的内存需求和当前芯片能力不匹配。如何突破这两堵是提升大模型推理性价比的核心。该方向研究如何通过数据缓存、HBM池化、面向异构计算的分离式内存等技术来提升推理性价比。

    大模型推理面临的挑战是内存带宽墙和内存容量墙，即大模型的内存需求和当前芯片能力不匹配。如何突破这两堵是提升大模型推理性价比的核心。该方向研究如何通过数据缓存、HBM池化、面向异构计算的分离式内存等技术来提升推理性价比。

  • 面向大模型训练的缓存系统

    大模型训练或者微调持续面临两个数据挑战：训练数据的快速加载和模型参数的 CKPT。该方向研究如何加速数据缓存和 CKPT，以此充分释放算力能力，不让算力等数据。

    大模型训练或者微调持续面临两个数据挑战：训练数据的快速加载和模型参数的 CKPT。该方向研究如何加速数据缓存和 CKPT，以此充分释放算力能力，不让算力等数据。

  • 面向UB的内存管理技术

    新型的华为资源的 Unified Bus（UB）总线标准越来越成熟，其提供了设备和 CPU 间内存直接访问、内存池化等吸引人的能力。该方向研究如何利用 UB 的特性提升应用的性能、数据中心利用率、数据可用性等。

    新型的华为资源的 Unified Bus（UB）总线标准越来越成熟，其提供了设备和 CPU 间内存直接访问、内存池化等吸引人的能力。该方向研究如何利用 UB 的特性提升应用的性能、数据中心利用率、数据可用性等。