文件系统类型
SFS容量型
表1 SFS容量型文件系统
参数
|
SFS容量型
|
通用文件系统
|
---|---|---|
最大带宽 |
2GB/s |
1.25TB/s |
最高IOPS |
2K |
百万 |
时延 |
3~20ms |
10ms |
最大容量 |
4PB |
EB |
优势 |
大容量、高带宽、低成本 |
大容量、高带宽、低成本 |
应用场景 |
大容量扩展以及成本敏感型业务,如媒体处理、文件共享、高性能计算、数据备份等。SFS容量型文件系统不适合海量小文件业务,推荐使用SFS Turbo文件系统。 |
大容量扩展以及成本敏感型业务,如媒体处理、文件共享、高性能计算、数据备份等。通用文件系统不适合海量小文件业务,推荐使用SFS Turbo文件系统。 |
SFS Turbo
表2 SFS Turbo文件系统
参数
|
20MB/s/TiB
|
40MB/s/TiB
|
125MB/s/TiB
|
250MB/s/TiB
|
500MB/s/TiB
|
1000MB/s/TiB
|
---|---|---|---|---|---|---|
最大带宽 |
8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps |
8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps |
20GB/s 如需提高吞吐能力,请提交工单申请,最高可达100 GBps |
20GB/s 如需提高吞吐能力,请提交工单申请,最高可达100 GBps |
80GB/s 如需提高吞吐能力,请提交工单申请,最高可达200 GBps |
80GB/s 如需提高吞吐能力,请提交工单申请,最高可达200 GBps |
最高IOPS |
250K |
250K |
百万级IOPS |
百万级IOPS |
百万级IOPS |
百万级IOPS |
平均单路4K延迟 |
2~5ms |
2~5ms |
1~3ms |
1~3ms |
1~3ms |
1~3ms |
容量 |
3.6TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
优势 |
大容量、低成本 |
大容量、低成本 |
低时延、高性价比 |
低时延、高性价比 |
高IOPS、性能高密 |
高IOPS、性能高密 |
典型应用场景 |
日志存储、文件共享、内容管理、网站 |
日志存储、文件共享、内容管理、网站 |
AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 |
AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 |
大规模AI训练、AI大模型、AIGC |
大规模AI训练、AI大模型、AIGC |
典型应用举例
媒体处理
媒体处理包括媒体素材的上传、下载、编目、节目转码和数据归档等工作,涉及音视频数据的存储、调用和管理,根据其业务特性对共享的文件系统有如下要求:
- 媒体素材的视频码率高,文件规模大,要求文件系统容量大且易于扩展。
- 音视频的采集、编辑、合成等应用要求文件系统无抖动、低时延。
- 多用户同时进行编辑制作,要求文件系统提供稳定易用的数据共享。
- 视频渲染、特效加工需要频繁处理小文件,要求文件系统具有较高的数据读写性能。
弹性文件服务是基于文件系统的共享存储服务,具有高速数据共享,动态分级存储,按需平滑扩展,支持在线扩容等特点,能充分满足媒体处理中用户对存储容量,吞吐量,IOPS(每秒读写次数)和各种工作负荷下低时延的需求。
某卫视频道栏目组外拍大量音视频素材,现需要将这组素材编辑处理成为即将播出的节目,节目的编辑处理将由多个编辑工作站协作完成。为实现多个编辑工作站访问到同一素材文件,栏目组选用了弹性文件服务。首先将同一文件系统挂载到栏目组的作为上载工作站和编辑工作站的云服务器上,再将素材文件由上载工作站上传到挂载的文件系统,最终实现多个编辑工作站直接对挂载文件系统中的素材进行编辑。
高性能计算
高性能计算通常指以计算为目的,使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设计CAD/CAE,生物科学,能源勘探,图片渲染和异构计算等涉及高性能计算集群来解决大型计算问题的领域。根据其业务特性对共享的文件系统有如下要求:
- 工业设计CAE/CAD:如汽车制造中使用到的CAE/CAD等涉及仿真软件,在进行数据计算时需要计算节点之间进行紧密的通信,要求文件系统高带宽、低时延。
- 生物科学:要求参与大数据计算的文件系统高带宽、高存储且易于扩展。
- 对生物基因数据进行测序、拼接、比对等处理,提供基因组信息以及相关数据系统的生物信息学领域。
- 进行大规模分子动力学模拟来分析和验证蛋白质在分子和原子水平上的变化的分子动力学模拟领域。
- 快速地完成高通量药物虚拟筛选从而大量缩短研发周期和减少投入资金的新药研发等领域。
- 能源勘探:野外作业,勘探地质,对地质资料进行处理和解释以及进行油藏和汽藏的识别要求文件系统内存大、高带宽。
- 图片渲染:图像处理、三维渲染,频繁处理小文件,要求文件系统数据读写性能强、容量大、高带宽。
- 异构计算:这种以不同类型的指令集和体系架构的计算单元为组成的系统计算方式要求文件系统高带宽、低时延。
弹性文件服务是基于文件系统的共享存储服务,具有高速数据共享,动态分级存储,按需平滑扩展,支持在线扩容等特点,能充分满足高性能计算中用户对存储容量,吞吐量,IOPS(每秒读写次数)和各种工作负荷下低时延的需求。
某生物平台需要软件进行大量的基因测序,但业务处理步骤多,业务部署慢,流程复杂,效率低,易出错,所以自建集群跟不上业务发展。但自从使用了提供专业的高性能计算业务流程管理软件,依托云平台的海量计算资源和存储资源,充分结合云平台和高性能计算特点,大大降低初始投资成本和后期运维成本,极大缩短业务上线时间,提高使用效率,节约运营成本。
企业网站/APP后台
对于I/O密集型的网站业务,SFS Turbo为多个Web Server提供共享的网站源码目录,存储,提供低延迟,高IOPS的并发共享访问能力。业务特点:
- 大量小文件:存放网站静态文件,包括HTML文件,Json文件,静态图片等。
- 读I/O密集:业务以小文件读为主,数据写入相对较少。
- 多个Web Server访问同一个SFS Turbo后台,实现网站业务的高可用。
日志打印
提供多个业务节点提供共享的日志输出目录,方便分布式应用的日志收集和管理。业务特点:
- 多个业务主机挂载同一个共享文件系统,并发打印日志。
- 大文件小I/O:单个日志文件比较大,但是每次日志的写入I/O比较小。
- 写I/O密集型:业务以小块的写I/O为主。