AI开发平台MODELARTS-准备资源:创建SFS Turbo

时间:2024-07-13 11:26:41

创建SFS Turbo

SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动,可以将最新的训练数据导入到SFS Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。

创建SFS Turbo文件系统,详细操作指导请参考创建SFS Turbo文件系统

图1 创建SFS Turbo

其中,文件系统类型推荐选用500MB/s/TiB或1000MB/s/TiB,应用于AI大模型场景中。存储容量推荐使用 6.0~10.8TB ,以存储更多模型文件。

图2 SFS类型和容量选择
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1833.html