华为云存储创新LAB

Data Grows As Ever, Storage Lasts For Ever

Data Grows As Ever, Storage Lasts For Ever

Serverless AI研究项目

以独创的AI数据系统为基础，打造支持模型管理、微调、推理以及Agent平台，为下一代云基础设施打造领先数据架构，孵化华为云Serverless AI全托管服务的底座。

  • 软硬件协同的分离式推理系统

    在生成式AI云服务领域，提出以HBM池化为基础的NPU存算分离设计，构建一切皆分离的推理架构，实现推理数据池化共享、推理计算弹性伸缩，突破昇腾芯片存算比、容算比不足的短板，充分发挥芯片连算比优势，实现昇腾多打一战略目标。

    在生成式AI云服务领域，提出以HBM池化为基础的NPU存算分离设计，构建一切皆分离的推理架构，实现推理数据池化共享、推理计算弹性伸缩，突破昇腾芯片存算比、容算比不足的短板，充分发挥芯片连算比优势，实现昇腾多打一战略目标。

  • 微调加速

    通过高效的缓存机制，一方面减少微调数据集的加载时间，实现微调加速；另一方面减少checkpoint写耗时，从而提高checkpoint频率，实现微调快速启停和故障恢复。

    通过高效的缓存机制，一方面减少微调数据集的加载时间，实现微调加速；另一方面减少checkpoint写耗时，从而提高checkpoint频率，实现微调快速启停和故障恢复。

  • Serverless调度

    面向华为云下一代云基础设施，基于HBM池化和NPU存算分离设计，通过云上大规模资源和请求的细粒度调度，实现极致高效、极致弹性的serverless AI 云基础设施。

    面向华为云下一代云基础设施，基于HBM池化和NPU存算分离设计，通过云上大规模资源和请求的细粒度调度，实现极致高效、极致弹性的serverless AI 云基础设施。

  • Agent平台

    帮助用户快速构建和部署智能AI代理基础运行框架，提供Memory 、知识库等基础能力，与底层推理RTC进行深度结合，提升推理精度和性能，同时减少Token消耗以降低成本。

    帮助用户快速构建和部署智能AI代理基础运行框架，提供Memory 、知识库等基础能力，与底层推理RTC进行深度结合，提升推理精度和性能，同时减少Token消耗以降低成本。