检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全模块架构冗余设计,无单一故障点。 无缝集成 弹性文件服务同时支持NFS和CIFS协议。通过标准协议访问数据,无缝适配主流应用程序进行数据读写。同时兼容SMB2.0/2.1/3.0版本,Windows客户端可轻松访问共享空间。 操作简单、低成本 操作界面简单易用,您可轻松快捷地创建和管理文件系统。
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数
虚拟专用网络、云专线线下节点通过终端节点高速访问SFS Turbo HPC型文件系统。 SFS Turbo HPC型文件系统的挂载点使用的是域名,IDC环境如果不适用云上DNS则无法解析SFS Turbo的域名,导致此场景无法使用。 前提条件 本地数据中心已通过虚拟专用网络或者云专线与VPC连通。 虚
通用文件系统为用户提供一个完全托管的共享文件存储,能够弹性伸缩至PB规模、TB级带宽,具备高可用性和持久性,为海量数据、高带宽型应用提供有力支持。 适用于多种应用场景,包括高性能计算、媒体处理、文件共享、内容管理和Web服务等,并且支持低频存储。 如表1,和传统的SFS容量型文件系统对比,通用文件系统具备更高性能。
os-allow_access字段说明: 参数 是否必选 参数类型 描述 access_level 否 String 共享访问的权限级别,取值为ro(只读),rw(读写)。默认为rw(读写)。 access_type 是 String 访问存储的方式。 NFS协议文件共享只支持cert, 多协议文件共享支持cert。
与其他云服务的关系 弹性文件服务与其他云服务的关系如图1所示。 图1 弹性文件服务与其他服务的关系示意图 弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic
4PB 优势 大容量、高带宽、低成本 应用场景 大容量扩展以及成本敏感型业务,如媒体处理、文件共享、高性能计算、数据备份等。SFS容量型文件系统不适合海量小文件业务,推荐使用SFS Turbo文件系统。 时延是指低负载情况下的最低延迟,非稳定时延。 10MB以上为大文件,1MB以上为大IO。
问。本地服务器用于访问本地NAS存储,云上服务器用于访问云上SFS Turbo。 通过公网或内网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 暂不支持使用公网迁移本地NAS存储至SFS容量型文件系统。 仅支持使用Linux系统的云服务器进行数据迁移。
用包括root用户在内的任何用户,NFS服务器都保持客户端使用的用户,不做映射。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。客户端使用非root用户时,NFS服务器保持客户端使用的用户,不做映射。 al
要额外添加。 创建 OBS 后端存储库 对象存储服务 OBS 如果需要创建 OBS 后端存储库,用户需要额外配置OBS Adminstrator权限。 通用文件系统控制台功能依赖的角色或策略 表7 通用文件系统控制台依赖服务的角色或策略 控制台功能 依赖服务 需配置角色/策略 创建通用文件系统
视频渲染、特效加工需要频繁处理小文件,要求文件系统具有较高的数据读写性能。 弹性文件服务是基于文件系统的共享存储服务,具有高速数据共享,动态分级存储,按需平滑扩展,支持在线扩容等特点,能充分满足媒体处理中用户对存储容量,吞吐量,IOPS(每秒读写次数)和各种工作负荷下低时延的需求。 某卫视频道栏
如何查看资源包的使用量? 如何确认Linux云服务器上的文件系统处于可用状态? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 更多 概念类 什么是弹性文件服务? 什么是SFS Turbo? SFS、OBS和EVS有什么区别? 更多 限制类 文件系统使用空间不足,可以扩容吗? 文件系统中的数据是否可以跨区域迁移?
求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加
群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设计CAD/CAE,生物科学,能源勘探,图片渲染和异构计算等涉及高性能计算集群来解决大型计算问题的领域。根据其业务特性对共享的文件系统有如下要求:
如果需要跨区域挂载,可以通过指定IP的方式挂载。 通过域名(DNS)随机将该文件系统挂载到云服务器时,在未达到云服务器满载性能前,可能出现挂载不均匀的现象。可通过增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。 不支持 不支持 缓存加速 不支持 支持(仅保证最终一致性,如需关闭,请提交工单反馈)
数据导出功能会将您在联动目录里创建的文件,以及对从OBS导入后又做过修改的文件导出存储到OBS桶里。 src_target 是 String 联动目录名称 src_prefix 否 String 导入导出任务的源端路径前缀,导入时不需要包含OBS桶名,导出时不需要包含联动目录名称。 对于
lifecycle String 绑定状态 obs ObsDataRepository object OBS类型后端存储 表5 FailureDetailsMessage 参数 参数类型 描述 message String 错误信息 表6 ObsDataRepository 参数 参数类型
| 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio -bs=4k -size=10G -numjobs=1 -runtime=60 -group_reporting
动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS
子目录,该目录用于绑定后端存储。 必须是文件系统根目录下不存在的目录名,长度不能超过63个字符,子目录名称不能是“.”或“..”。 不支持多层目录,不能包含字符'/'。 obs 是 ObsDataRepository object OBS类型后端存储 表4 ObsDataRepository