高性能弹性文件服务 SFS TURBO-方案概述:方案优势

时间：2024-12-06 18:19:07

华为云AI 云存储解决方案的主要优势如下表所示。

表1 华为云AI云存储解决方案的主要优势
序号	主要优势	详细描述
1	存算分离，资源利用率高	GPU/NPU算力和SFS Turbo存储解耦，各自按需扩容，资源利用率提升。
2	SFS Turbo高性能，加速训练过程	训练数据集高速读取，避免GPU/NPU因存储I/O等待产生空闲，提升GPU/NPU利用率。大模型TB级Checkpoint文件秒级保存和加载，减少训练任务中断时间。
3	数据导入导出异步化，不占用训练任务时长，无需部署外部迁移工具	训练任务开始前将数据从OBS导入到SFS Turbo，训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS，均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出，无需部署外部数据拷贝机器及工具。
4	冷热数据自动流动，降低存储成本	SFS Turbo支持自定义数据淘汰策略，冷数据自动分级到OBS，释放高性能存储空间用于接收新的热数据。访问冷数据时SFS Turbo从OBS自动加载数据提升访问性能。
5	多 AI开发平台、生态兼容	pytorch、mindspore等主流AI应用框架，kubernetes容器引擎、算法开发场景通过文件语义访问共享数据，无需适配开发。