检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将数据从SFS容量型迁移至SFS Turbo后,容量为什么变大了? 由于SFS Turbo中包含元数据,且这些元数据大约占用8%-10%的空间,所以将数据从SFS容量型文件系统迁移至SFS Turbo文件系统后,容量会变大。这些元数据主要为文件系统的管理数据,比如文件的大小,文件系统拥有者,文件的修改时间等等。
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI
可能原因 处理措施 文件系统和挂载的服务器不在同一个可用区 在与服务器相同的可用区新建一个文件系统,将另一可用区的文件系统数据迁移至新文件系统后,再将新文件系统挂载至服务器。 使用场景与文件系统类型不匹配 结合业务场景,参考文件系统类型,选择正确的文件系统类型。 SFS容量型文件系统容量较小
用户可以将本地NAS存储中的数据,通过云专线和rsync工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通信,并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS
和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的SFS管理事件和数据事件列表,请参见《弹性文件服务用户指南》的“支持审计的关键操作”章节。 父主题: 安全
高IOPS、性能高密 高IOPS、性能高密 典型应用场景 日志存储、文件共享、内容管理、网站 日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 使用公网迁移 父主题: 数据迁移
除,请您及时前往云备份界面完成数据备份,以免造成不必要的数据丢失。 操作场景 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。 当您的文件系统出现故障或文件系统中的数据发生逻辑错误时(如误删数据、遭遇黑客攻击或病毒危害等),可快速使用备份恢复数据。
迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。
存储快很多,如果每一次访问文件数据都要从磁盘读取数据,就会导致非常严重的时延及等待问题,因此Linux为了提高读取性能,通过预读机制,将文件数据提前预读缓存到内存中,从而大大加快读取性能。参数“read_ahead_kb”为操作系统读业务可提前读取的最大KB数。 在Linux内核5
S Turbo会根据您选择的数据更新类型,以异步方式导出到OBS。 数据更新类型包含“新增数据”、“修改数据”和“删除数据”。 新增数据:SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 修改数据:从OBS桶里导入到SFS
Service,SFS)提供按需扩展的高性能文件存储,支持同时为多个弹性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。弹性文件服务提供标准的文件访问协议,用户可以将现有应用和工具与弹性文件服务无缝集成。 弹性文件服务提供简单易用的操作界面,用户可以快捷地创
S提供的各种工具、API或SDK进行数据迁移。例如,如果希望将SFS中的数据迁移到OBS中,则需要在服务器或容器中使用OBS的上传功能将数据上传至OBS;反之,使用OBS的下载功能即可将数据从OBS迁移到SFS(需要读写权限)。 OBS提供如表1所示的方式帮助用户迁移数据。请根据
同一区域跨多个可用区的云服务器可以访问同一文件系统,实现多台云服务器共同访问和分享文件。 弹性扩展 弹性文件服务可以根据您的使用需求,在不中断应用的情况下,增加或者缩减文件系统的容量。一键式操作,轻松完成您的容量定制。 高性能、高可靠性 性能随容量增加而提升,同时保障数据的高持久度,满足业务增长需求。
数据迁移 迁移说明 通过云专线迁移 使用公网迁移 文件系统之间迁移数据 父主题: 其他操作
文件系统删除后,文件系统中存放的数据将无法恢复。为避免数据丢失,执行删除操作前,请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,请先卸载已挂载的文件系统。卸载操作请参见卸载文件系统。 操作步骤 登录弹性文件服务管理控制台。 在文件系统列表中,单击指定文件系统所在行的“更多 >
Turbo? SFS Turbo提供按需扩展的高性能文件存储,支持同时为多个弹性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。SFS Turbo提供标准的文件访问协议NFS(仅支持NFSv3),用户可以将现有应用和工具与SFS Turbo无缝集成。 SFS
与其他云服务的关系 弹性文件服务与其他云服务的关系如图1所示。 图1 弹性文件服务与其他服务的关系示意图 弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic
导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据。 数据预热功能会同时导入元数据和数据内容,数据预热中的元数据导入采用快速导入方式,不会导入其它附加元数据(如uid、gid、mode)。 数据导出功能会将您在联动目录里创建的文件,以及对从